《产业》DIGITIMES：企业导入大型语言模型 首选云端代管制

黄耀汉表示，美国生成式AI平台Writer问卷调查显示，2023年1至4月美国企业20％曾使用5种以上的生成式AI软体，其中，前五名使用软体皆为生成文字类，主要应用于资讯系统、营运管理等领域，有鉴于此，指标业者纷推出LLM，以商业模式区分，微软、Google为B2B与B2C，Amazon Web Services（AWS）为B2B。

生成式AI技术广泛应用下，隐藏许多资安问题，目前边缘模式为降低资安风险最佳方案，但投资成本相对云端模式高。边缘端模式因封闭网路架构，资安等级较云端方案高，但资安系统需用户自行建立与维护，成本相对云端高；而云端模式因开放网路架构，资安等级较边缘端方案低，但资安系统由云端平台业者负责建立与维护，用户担负资安的成本较边缘端低。

黄耀汉认为，云端LLM存在高运算力需求、高硬体成本、高延迟与低资安的问题，推论程序可由云端转移至边缘端，有望克服相关问题，因边缘小型语言模型具备低延迟与高资安优势，因此，Meta、微软、Hugging Face分别推出小参数量语言模型，有利于边缘装置上运作推论程序。