唐凤：AI评测中心5指标可自动化验测 是否收费待讨论

唐凤18日率队视察AI产品与系统评测中心，并于致词时提到，AI评测就很像身体检查，对尚待改善之处改善，而生成式AI很不同，只要社会告诉它有甚么期待，就可以透过模型训练，做到对齐；而透过审议式调查，将维持资讯完整性跟安全性。未来数位部将确保AI技术发展跟社会对齐，朝向安全发展迈进。

数位部产业署副署长林俊秀致词时则说，AI评测中心最主要目的，就是降低冲击跟因应挑战，首年会跟语言模型结合，并订出十项评测项目，其中公平、准确、可靠、隐私和资安等五大项，可以进行自动测式。

林俊秀也提到，这是世界首创的，台湾也很愿意跟国际交流，希望可以将该评测送上国际舞台。

对于今年预计何时可以开始有比较大规模送测？唐凤说，现在都已经看到示范，包含测试题库题型等等，现在有意愿送测的厂商其实随时都可以跟我们来索取，只要开得出跟测试机构相符合的应用程式介面（API），就可以开始自动测试的部分。

唐凤说，目前十项测项已有五项可以开始自动测试，当然有一些包含对社会安全等等，都还需要用一些人工或甚至是审议式调查，把大家所有人的愿望或者是偏好先搜集起来再进行测试，但是能够自动化测试的部分现在就可以开始了。

对于目前送测的件数，唐凤说，想借着今天的这个机会告诉大家说已经可以正式来提出申请，之前就是愿意了解测试方向的几家大的AI模型的公司，大概都有向数位部表示兴趣。惟唐凤也说，硬体效能并不是测试的范围。

唐凤强调，把包含自动化的验测总计十项都融合到同一个产品跟系统，来进行评测的中心，这是全球首创的，当然在大部分的AI的开发实验室里面，也是有可以全自动测试，或是说透过一些民调或审议的方法来搜集社会的意见。惟台湾首创的部分，是用同一个中心来同时做这两部分的事情。

针对收费问题，唐凤说，制度的部分，会由审议委员会来进行讨论，时间上会尽快来召开。

唐凤说，AI评测中心有点像抛砖引玉，未来如果有更快速验测方式，就是民间可以共襄盛举地方。

唐凤说，台湾在AI评测这件事情上面，是跟世界最先进国家互相接轨，无论是美国、欧洲、欧盟或是英国，现在大家都在找出怎么样快速让这些生成式的AI在走入社会的时候，能够符合社会的期待；此外，当社会的期待有所改变、有新的期待的时候，怎么样快速对齐、快速重新训练这些模型，让它能够符合每个不同的社会的期待，很幸运台湾能够去跟全世界正在研究这件事。相信组成的AI评测体系，可以协助各行各业导入生成式AI的时候，保持它既安全然后又注重到这个社会，包含隐私人权等等重要的价值。