清大教授把期末考題丟ChatGPT竟對75% 無法取代一功能

美国OpenAI推出聊天机器人ChatGPT,中国大陆百度也宣布要推出简体中文版类ChatGPT「文心一言」,台湾今宣布要在年底前参一脚,宛如一场AI军备竞赛。路透社

美国OpenAI推出聊天机器人ChatGPT,中国大陆百度也宣布要推出简体中文版类ChatGPT「文心一言」,台湾今宣布要在年底前参一脚,宛如一场AI军备竞赛。不少人关心AI是否将取代人类,实际上,国内已有不少大学教授,担心学生将报告、考题委由机器人代笔,因此将自己出的期末考题丢上ChatGPT实测求解。学者发现,ChatGPT仅能协助润稿、搜集资料的工具,无法取代人类的推理能力。

有网友在抖音上分享如何利用3D列印机及AI机器人Chat GPT帮自己写作业,引发各界关注。清华大学系统神经所所长罗中泉也分享,日前他将这学期神经生物学的期末考卷拿给ChatGPT作答,最后拿到75%的分数,在23位人类学生中排第13名。

回头检视ChatGPT答对、答错的题目,罗中泉发现,若答案难从网站上查找,系统就越容易答错,至于需要推理的答案,ChatGPT虽试图从资料库中拼出看似「肯定」的答案,仍明显只是字面解释,无法进行深层推理。

罗中泉也提到,有一题他问下列何者为对,ChatGPT告诉他全部都对,当他再强调只有一个选项是对的,然后再问一次时,ChatGPT改口说只有ACD是对的,当问第三次时,ChatGPT却又说全部都对。不过,在面对人类的学生,若告诉学生只有一个选项是对的时候,尽管他觉得看起来都对,但还是会努力选一个看起来最对的作为答案。

罗中泉表示,既然AI擅长从大海般的资料中找到符合的资讯作为答案,甚至可以做字面上的推理,对于人类学生的训练,就要更着重非字面的深层推理。他说,未来出题都会先经ChatGPT这关,「ChatGPT越答不出来的题目,才是越适合人类学生的题目」,或多出一些陷阱题,又或是反过来请学生针对ChatGPT答错的题目,加以还原。

美版ChatGPT上架至今,也有不少人认为其可作为论文写作工具,台大电机工程学系副教授李宏毅认为还「差太远」。他表示,现下ChatGPT能做的事情仅有润稿、查询资料,若直接用其撰写论文,内容一定会颠三倒四,外行人也许能被糊弄,内行人一看就知有问题。

元智大学资管系主任禹良治表示,ChatGPT原理为有大量文字资料及模型,机器人根据现有资料来回应,回答有好有坏,当面对复杂情境,例如购物客服的聊天对话,仍比不上人类服务。

大同大学工学院副院长谢祯冏指出,ChatGPT目前仍无法用于研究,若有未知的领域没学习到,自然无法产出正确解答。但他经实测后认为,ChatGPT确实很会写作文、回答问题,用字遣词也都精准,若回答不满意,还可以命令ChatGPT就不满意的地方,请它再写清楚一点。