深度揭秘 GPTZero:ChatGPT 检测神器

在改变世界的技术方面,ChatGPT在其问世的短时间内确实对人们思考写作和编码的方式产生了巨大影响。

然而,这种能力带来了一个显著的弊端,特别是在教育领域,学生们很容易在自己的论文或考试中使用 ChatGPT。这种抄袭行为妨碍了学生尽可能多地获取知识,并给教师带来了一个全新的难题:如何检测人工智能的使用。

教师和其他用户现在正在寻找检测学生作品中 ChatGPT 使用情况的方法,许多人正在转向像 GPTZero 这样的工具,这是普林斯顿大学学生爱德华·田(Edward Tian)开发的 ChatGPT 检测工具。该软件对所有人开放,所以如果您想尝试一下,看看某段特定文本是使用 ChatGPT 编写的可能性,以下是您可以这么操作的办法。

GPTZero是一个网络应用程序和服务,旨在检测一段文本是由人类还是由人工智能编写。目前,该系统据称能够检测包括 ChatGPT、GPT-4 和 Claude 在内的各种大型语言模型的输出,以及是否由人类与人工智能合作编写。

它由 22 岁的普林斯顿大学计算机科学本科生、前微软软件工程实习生爱德华·田(Edward Tian)于 2023 年 1 月开发并首次发布。在 X(原推特)上宣布该平台时,田指出,该分析基于普林斯顿大学博士候选人斯里扬·库马尔(Sreejan Kumar)的研究以及普林斯顿自然语言处理小组的工作。

GPTZero 是为教育工作者设计的,但任何人都可以免费使用。使用免费账户,您每小时可以扫描 40 份文档,并访问 GPTZero 仪表板。每月 10 美元的基本计划将每月扫描多达 150,000 个单词,并允许使用“高级”人工智能检测模型以及“抄袭扫描”和“高级语法和写作”反馈。每月 16 美元的高级套餐将单词数量增加到每月 300,000 个,并提供“高级人工智能深度扫描”和多语言人工智能检测,以及专业级别的福利。顶级的每月 16 美元的专业订阅每月提供 500,000 个单词,另外还有 1000 万个单词的“超额”。这意味着有大量被察觉的抄袭情况。

虽然 GPTZero 宣称其服务能力很强,但 一些用户 发现该服务的准确性存在问题,比如经常错误地将人类编写的文本标记为人工智能生成的,并且在处理某些类型的生成文本时表现不佳。 按照 Reddit 用户Smellz_Of_Elderberry所提的建议,我让 ChatGPT 像高中生一样写一篇关于《老人与海》这本书的简短故事。GPTZero 没有被愚弄。

我又试了一次,用一些标点错误、动词时态不正确和其他小错误修改了文本,但 GPTZero 仍然称:“您的文本很可能完全由人工智能编写。”

即使使用除 Claude 或 GPT-4 之外的文本生成器,该扫描仍能正确判断出一段文本是否由人工智能生成。我让 Gemini 1.5 Pro 写了一份关于《老人与海》的单独报告,但 GPTZero 也发现了。

GPTZero 的准确性仍在评估当中,不过依据这些个例测试,它貌似运行得不错。

如果您使用 GPTZero,重要的是要记住可能会有错误。当使用 GPTZero 检测人工智能或 ChatGPT 帮助撰写文档时,您仍然需要检查工作中的错误。

GPTZero 会分析文本的随机性,也就是所谓的“困惑度”,还有文本中这种随机性的均匀程度,在统计学中这被称作“突发性”。人工智能在其困惑度和突发性方面非常一致,而人类作者在无意识的情况下改变了这些特征。

这项工作还没完成,Tian 表示会添加更多测试来提高人工智能文本检测的准确性。特别是,隐性偏见是正在探索的一个领域,作为检测文本是否由人工智能生成的另一种方式。

GPTZero 可在其 网站上使用。 只需复制您想要检查的文本并将其粘贴到标有 试试看 的大框中。

还可以上传 PDF、Word 文档或者文本文件,然后点击获取结果按钮。您还需要勾选表示您同意服务条款的框。

GPTZero 并不是当今市场上唯一的人工智能驱动的抄袭检测器。OpenAI 提供其 GPT-2 输出检测器 并且 据报道已开发了更新版本,但尚未确定何时或是否会发布。Content at Scale AI 内容检测、ZeroGPT(不确定它怎么通过商标局的)、Writefull GPT 检测器和 Originality.ai 都提供了类似的服务,不过准确性有所不同。

随着 ChatGPT 的兴起以及人工智能检测工具的涌现,现在作者和读者都有了一个新的担忧,即如何判断内容是否由人工智能创作,以及真正的写作是否被标记为来自人工智能。这对学生来说尤其成问题,如果被发现使用人工智能,他们可能会面临来自学校或大学的后果。如今,一些学生习惯通过像 GPTZero 这样的检测器来运行自己的原创作品,却发现即便不是人工智能写的句子也被标记为是人工智能所写。

2024 年,《大西洋月刊》的作家伊恩·博格斯特(Ian Bogost)称通过抄袭检测软件运行自己的原创作品,并发现最初,他惊人的 74%的作品被标记为抄袭。经过仔细检查和排除,他设法把这个数字降到了零,但这耗费了他几个小时的审查和设置调整时间。

人工智能检测类似于抄袭检测,因为二者都只能反映出一篇写作是否原创以及是否由人类生成的最佳推测。而且这些工具需要大量仔细的审查,因为两者都可能倾向于产生误报。如果您发现自己的作品在 GPTZero 上被标记为人工智能生成,可实际上并非如此,那么原因可能很广泛,比如不是以英语为母语、想法过于重复,或者使用了像 Grammarly 这样的工具。

如果您的作品被标记为人工智能生成,请仔细检查您的所有引用和引文格式是否正确,并尽量避免使用像 Grammarly 这样的自动工具进行编辑。

并且请记住,这是 GPTZero 的黑箱、“商业秘密”式的专有算法,声称您的写作在统计上类似于整个公共互联网上发现的其他示例。该公司不会在法庭上解释其产品实际是如何工作的,或者证明其工作的准确性。因此,如果您确实发现自己因所谓的生成式抄袭而处于危险之中,那将是您与他们的对峙。请律师并让他们证明他们的工作。

OpenAI 在 2022 年 11 月底向公众发布了ChatGPT,远远突破了许多文本生成人工智能所局限的研究实验室的范畴。到 2023 年 1 月,ChatGPT 拥有超过 1 亿用户,成为增长最快的公共应用程序。

这意味着随着这种人工智能辅助在生活的各个角落都可用,对抄袭的任何担忧都只会愈发加剧。微软正在将 OpenAI 的技术纳入必应搜索,而谷歌正在测试自己的版本,称为 Gemini(以前称为 Bard)。

相关地,像 Dall-E 这样的人工智能图像生成器和Stable Diffusion因潜在的版权侵权问题而受到审查。所有这些人工智能服务都是在网上发现的数十亿人创作的文字、照片和艺术品上进行训练。

在某种程度上,人工智能是从人类智能中借用,而不是自己创造。如果我从另一个人那里借用,我必须给予赞誉,并可能支付许可费。对于生成式人工智能,由于每个文本或图像都会被分解为分散的元素,然后通过数千或数百万个来源重新组合来创建一个新作品,所以引用来源变得更加困难。

我们要么需要重新思考我们对版权和抄袭的看法,要么找到有助于识别人工智能生成材料的工具,并可能开发一种方法来感谢每一个为人工智能生成的作品做出贡献的众多人员。