苹果研究人员:人工智能多为虚幻的假象
苹果电脑公司的研究人员经测试发现了证据,表明基于人工智能的大型语言模型给出的看似智能的回应实则不过是一种错觉。在他们发表于 arXiv 预印本服务器上的论文里,研究人员认为,在测试了几个大型语言模型后,他们发现这些模型无法进行真正的逻辑推理。
在这次新的尝试中,苹果团队通过假定答案在于智能生物或机器能否理解简单情形中存在的细微差别(这需要逻辑推理)来解决此问题。
其中一个细微之处在于能够区分相关信息和不相关信息。例如,如果一个孩子问父母一个袋子里有多少个苹果,同时还提到有几个太小不能吃,孩子和父母都明白苹果的大小与它们的数量无关。这是因为他们都具有逻辑推理能力。
在这项新研究中,研究人员通过间接要求它们忽略不相关的信息,来测试几个大型语言模型真正理解所提问题内容的能力。
他们的测试是向多个大型语言模型提出数百个此前曾用于测试大型语言模型能力的问题——但研究人员还加入了一些不相关的信息。他们发现,这足以让大型语言模型感到困惑,从而对之前正确回答的问题给出错误甚至荒谬的答案。
研究人员认为,这表明大型语言模型其实并不真正理解所被问到的内容。相反,它们识别句子的结构,然后依据通过机器学习算法所学到的内容给出答案。
他们还指出,他们所测试的大多数大型语言模型常常给出看似正确的答案,但经进一步审查后却发现并非如此,例如当被问及对某事的“感受”时,得到的回答表明人工智能自认为能够有这样的行为。