国际清算银行报告显示:AI编程工具对程序员生产力提升达50%以上
国际清算银行(BIS)最新发布的年度经济报告中,在“AI对宏观经济的影响”主题里提到的⼀个科学实验表明:AI编程工具,对程序员的生产力提升在50%以上。
该科学实验跟踪了1219名蚂蚁程序员编程情况,每位程序员跟踪周期为14周,实验通过观察他们在使用AI编程工具CodeFuse时,对生产力提升的情况得出的结论。
结果显示,AI所带来的生产力提升中仅有小部分来自于代码的直接生成,而更多是通过在与机器交互过程中激发了程序员的创造力。同时,AI编程对初级程序员提升更为明显,高级程序员遇到问题更倾向于独立解决。这是由于目前人类对AI工具的信任度尚处于早期阶段。
AI编程提升生产力超50%
这一实验整体周期历时近三个月,把1219名程序员分成两组,通过跟踪的数据,分析不同类型的程序员在使用AI编程工具时的不同表现。最终发现,通过AI编程工具,可提升程序员生产力达50%以上。
该实验是BIS在数字经济开放研究平台上的研究成果。数字经济开放研究平台由北京大学数字金融研究中心、国家金融与发展实验室、蚂蚁集团研究院、上海交通大学中国金融研究院、浙江大学金融科技研究院和中国人民大学中国普惠金融研究院于2019年4月共同发起成立。
据悉,实验所采用的AI编程工具CodeFuse是蚂蚁集团自研的代码生成工具,并广泛应用在蚂蚁内部研发流程,目前,每周已有超五成蚂蚁程序员在日常研发中使用CodeFuse。CodeFuse生成的代码整体采纳率为30%,在生成单元测试场景采纳率可达到50%。
CodeFuse实验项目组研究员介绍,AI辅助代码编写主要涉及代码补全、注释生成、测试用例生成,图生前端代码等场景,大大提升了程序员的效率。比如前端生成,原来要花半天时间写代码,现在一个截图点击就能完成。
从实验结果来看,AI编程对初级程序员提升更为明显。这是由于目前人类对AI工具的信任度尚在早期阶段。
“类似于当一个更优秀的语言出现时,资深的程序员对老语言会有更强的黏性,而新手程序员会更愿意尝试切换。资深程序员往往已经很熟悉当前的研发项目,遇到的技术卡点问题相对较少,并且由于技术自信,有问题优先自己独立解决,而不是去寻求AI工具的帮助,因此对产品主动体验、探索更多功能不足。”该研究员分析。
相比直接代码生成 AI更能激发程序员创造性
在本次实验中,AI所带来的生产力提升,主要在于影响了程序员的创造力,而不是直接生成代码。“并非像人们想象中的机器帮助生成代码,才提升了生产力,而是与机器交互过程中,激发了程序员的创造力,进而影响了生产力。” 该研究员称。
他介绍,AI工具解决了编程工作过程中的卡点,减少程序员投入在繁杂冗余的工作上的时间,进而让程序员更加聚焦至有创造性的工作中来。
“在没有AI工具出现之前,遇到技术卡点问题,大家会通过搜索引擎寻找答案,但搜索到的结果质量不高,并可能会参杂各种广告和钓鱼信息,这些都会严重影响工作效率。现在大模型的出现,让这个世界上的知识以极高的压缩率浓缩到百亿-千亿参数模型内,只需要通过简单的几轮对话就可以获取自己所需的信息。”
一名程序员分享了他使用AI工具的体验:过去被一个简单问题卡住数小时到半天,是很正常的事情,如今只需要在几分钟内就可以通过AI对话工具解决。
程序员不仅要会写代码,更要会测试代码。蚂蚁内部调研结果显示,测试代码所占用的时间平均是开发代码的1.5倍。对于这项考验耐心的繁琐工作,AI工具也能帮助程序员提升效率。
“测试代码在程序员的体验上是极为糟糕的,因为需要巧妙地编写测试代码来达到测试时间(效率)和测试覆盖率的平衡,还需要构造测试数据,模拟测试场景。这些在人工操作过程中都极易出错。”用户调研访谈结果显示,“而AI工具的一键生成单测代码功能,让程序员能完全不写或仅编写少量的测试代码作为例子,把工作交由AI来自动生成,完成各种不同场景和代码分支的测试覆盖。”
未来五年内AI写代码有望接近L4水平
在AIGC和大模型概念火热的今天,AI是否会抢夺人类工作,成为许多人关心的问题。
蚂蚁集团代码大模型CodeFuse负责人李建国认为,在可见的未来,AI完全取代程序员并不太现实,自然语言编程处于一个类似于自动驾驶技术中的L2.5级别。
据悉,蚂蚁集团接下来的目标是在某些特定场景下实现L3级别的完全自动化。例如,在效能领域中的持续集成(CICD)场景,就有可能通过大模型的驱动来自动完成,包括触发检查、提交,甚至创建拉取请求(PR)等操作。
不过,要实现全场景、全链路的自动化,李建国坦言,前端可能还需要一段时间才能发展起来。复杂的项目级的需求拆解,特别是特定领域的拆解,也面临较大挑战。李建国判断,可能还需要3-5年的时间,在万物摩尔定律的推动下,达到L3甚至接近L4的水平。
届时,AI编程有望发展至新的阶段:如今约有20%到30%的编程工作可被替代,未来该比例可能会提高到50%,甚至有些环节可以完全被自动化取代,释放人类去做更有创意的工作。
总体而言,AI程序员成为企业运营中的新常态已是势不可挡的趋势。无论是AI程序员,还是全生命周期研发智能体,大模型对整个软件研发范式均将带来非常大的提效。
不过,要实现全场景的自动化,人类仍然在其中扮演一个重要的角色。而架构层次的创新,更需要依赖人类,同时,大模型也会催生新的职业,正如计算机催生了程序员行业一般。