別怕沒工作！AI寫程式碼強過人類？新研究曝光 這類問題ChatGPT會卡關

程式设计师花费数十年编写 AI 模型的程式码，如今，AI 反过来被用来编写程式码，形成一个有趣的循环。（示意图／路透）

AI 如今已能编写程式码，但其表现如何？《IEEE 软体工程汇刊》（IEEE Transactions on Software Engineering）最新研究评估了 OpenAI 的 ChatGPT 在程式码生成方面的能力。结果显示，ChatGPT 的表现差异极大，成功率从 0.66% 到 89% 不等，取决于任务难度和程式语言等因素。

参与这项研究的 Glasgow 大学讲师 Yutian Tang 指出，AI 程式码生成虽有优势，但了解其局限性同样重要。

研究团队测试了 GPT-3.5 解决 728 个 LeetCode 问题的能力，涵盖 5 种主要程式语言，涵盖 C、C++、Java、JavaScript 和 Python。

结果显示，ChatGPT 在 2021 年之前的问题上表现较佳，它能够为简单、中等和困难的问题产生功能性程式码，成功率分别高达 89%、71% 和 40%。

但面对新问题时能力明显下降。「简单」问题的成功率从 89% 降至 52%，「困难」问题更是从 40% 跌至 0.66%。Tang 认为这可能与训练数据有关。

结果还显示，C 语言生成的程式码最为复杂，其次是 C++，而 Python 的复杂度则与人类编写的程式码相当。

值得注意的是，ChatGPT 生成的程式码在效能上优于至少 50% 的人类解决方案。然而，它不擅长纠正自身的逻辑错误，且存在一些安全漏洞，虽然大部分漏洞都是易于修复的。

Tang 建议，开发者在使用 ChatGPT 时应提供充分的背景资讯和潜在风险提示，以提高输出品质。

《本文作者INSIDE 硬塞的网路趋势观察，原文刊登于合作媒体INSIDE，联合新闻网获授权转载。》