大模型赛点：场景与成本
前几天，OpenAI举行首次开发者大会。一系列的更新发布使得现场高潮不断，最令人惊艳的可能莫过于：OpenAI为创业者开放了支持自定义模型的GPTs。也就是说，创业者可以针对专业场景进行定制化的模型研发。
场景，其实一直是大模型创新最主要的难题之一。
GPTs
现场另一个重磅发布则是降价。和原版GPT-4相比，新版GPT-4 Turbo价格降低了2.75倍多。OpenAI的举动颇具代表性。场景与成本，正是当下大模型都在全力攻克的两座大山。
另一个风口
当下，相比于创造全新的场景，利用大模型改造现存场景，实现生产力提升，或许是一个更好的思路。
一个典型案例是营销场景：复杂的营销模式和供应链环节，为AI提供了绝佳的应用场景。当下，行业已经开始思考，如何把大模型应用在品牌营销，尤其是营销标配的电商直播中，以领先技术实现成本的极致压缩。
电商直播的优势已无需赘述，大到奢侈品牌，小到莆田厂家都试图通过这一方式寻求新增长。但对品牌商家而言，做直播需要耗费人力、资源、时间等高成本投入，并且对人员专业能力有较高要求。因此不免会出现主播在直播时闲聊、产品介绍不到位、主播不招人喜欢、回答不够专业等问题，让不少品牌商望而却步。
而这一类场景则恰恰适合大模型一展拳脚。京东云以言犀大模型加持的言犀虚拟主播，用不及真人主播1/10的低成本、2小时即可开播的高效率，以及24h拉满直播时长，给出了高度适配这一场景的降本增效方案。
言犀虚拟主播
同仁堂是第一批吃螃蟹的品牌。如今，专业度极高的京东云言犀虚拟主播，已成为同仁堂京东自营旗舰店的“正式员工”，实现了24小时不间断直播。特别是在深夜无人值守时段，虚拟主播带货了燕窝、阿胶等100余款热门产品，成交转化率超10%。
除同仁堂外，京东云言犀虚拟主播已经入驻青蛙王子、六神、百雀羚等4000多个品牌直播间，累计带动超10亿元GMV，占真人直播40%。今年11.11期间，更以全栈自研技术支撑，帮助品牌实现提升业绩增量、客服温度、营销效率等多维度的价值创造。
评估一项技术的价值，不应该只看发了多少篇论文，更要看给社会生产力带来了多少提升，大模型也不例外，而这正是京东的目标。
事实上，除数字人主播之外，京东针对营销的各个环节都提供了对应的AI工具。
例如在金融营销上，京东科技的AI增长营销平台，可以快速生成创意营销方案，仅需1人即可完成过去涉及及产品、研发等5类以上职能才能完成的流程。同时，一个入口的全新交互模式，让人机交互次数从2000次降低至少于50次，将操作效率提升了超过40倍。
加持大模型能力的AI专家，如今正成为营销场景中必不可少的一员。
从通用到产业
10月23日晚上8点，今年的双11大战正式开幕。同往年一样，社交平台上立马充斥着关于大促期间，物流快到令人咂舌的段子。
31日晚8刚过10分钟，全国已于有超1000个县区市的消费者收到了小时达订单，这背后其实是平台运营效率的提升。今年在大量商家和消费者服务上，京东云的产业AI技术代替真人分担了相当一部分工作：
自10月23日京东11.11开启以来，京东云智能客服已经完成了超10亿次消费者的应答。作为京东官方的服务与营销一体化平台，京小智至今服务商家数量超36万，其中，中小商家较去年11.11增加102%，较今年618增加62%。
零售让大模型找到了一个可以深入落地的场景，但想解决产业场景中的实际问题，其实并不容易。
大模型内部是一个黑箱，输出存在不可控的问题。但在更加严肃的商业场景，品牌商及消费者肯定不能接受大模型胡说八道。得益于长期以来对专业场景语料训练的京东言犀大模型，京东云已经找到了一套解决方案。
京东云将零售、物流、健康等专业领域知识在预训练阶段就注入到言犀大模型中，对电商商品属性、价格、品类知识等进行重点强化，使基础大模型一开始就对关键性信息进行抓取和表征。在应用的时候，在客服，导购，直播带货，对于非常敏感的信息点就会有更高的保证度和专业性。
通过信息抽取，京东云将类似信息问答的准确率从80%+正确率提升到96%的准确率。而在此基础上，京东云又通过运营审核对信息准确性进行兜底，使得最终准确率达到近乎100%，真正实现可用。
不过，解决胡说八道只是第一步，消费者不会因为AI专家回答准确而激情下单。
另一项考验是：如何让虚拟主播拥有真人主播的情绪，感染到消费者？京东云在为国台提供数字人服务时就曾遇到过这个问题，开发出的第一版声音温柔且咬字清晰，显得过于一板一眼。收到商家反馈后，技术团队迅速迭代出第二版：充满激情的人声。
在这个过程中，京东云打造了一条“声音供应链”：
从声音最基础的元素上进行规范、制定标准，再通过技术进行适配以打磨声音表现力，并且结合真实的直播数据，持续迭代有感染力的声音，如今言犀虚拟主播的音色库已扩充至超过40个。
除了感染消费者，如何能“体会”消费者的情绪，也是智能客服的难点所在。基于言犀大模型，京东云AI技术能识别“买贵了”等价格敏感型对话意图，主动推送“一键价保”服务，提高成单率。同时也有能力将“能刷公交卡的手机”理解为“支持NFC功能”等商品属性，抓取相关商品直接推荐给消费者，提高准确应答率。
凭借这一系列技术方案，虚拟主播的带货转化率最高可达到40%。
相似的方法正同样被京东云应用于视觉形象的迭代。超过70个数字人形象，让京东平台商家在选取符合自家商品调性的AI形象时，拥有了更多、更合适的选择。
然 而 ，一个工具毕竟很难100%覆盖所有的细分需求。 随着品牌商家不断深入，难免会希望拥有一个定制化的品牌大模型，以高度匹配自家产品和服务。 可大模型定制化高昂的投入成本和高门槛的技术要求，是挡在绝大部分品牌面前的两座大山。
京东云的思路是MaaS（model as service），向客户提供言犀 AI 开发计算平台。
这个平台覆盖了数据准备、模型开发、模型训练及模型部署的 AI 开发全流程能力，预置了主流开源大模型以及部分商业化大模型，以及一百多种推理工具和框架，能够有效降低大模型开发门槛和成本。
尤其在开发者关注的性能方面，言犀 AI 开发计算平台在算力和存储上做了许多技术突破，包括平台对 GPU 算力进行整体调度和统筹，提高对平台的底层资源使用的调度效率；而云海分布式存储能够支持大模型海量数据高并发集群要求，可以做到千万级 IOPS，延迟低至百微秒。
从用户视角来看，从真人转到数字人或许只是视觉效果上的切换；但在这背后，其实是京东多年技术布局的厚积薄发。
成本攻坚战
电商为大模型提供了一个合适的场景，相比之下，算力成本问题则没那么好解决。大模型前期需要训练，应用阶段需要推理，这些都会消耗巨大的算力。不解决大模型的成本难题，商业盈利就遥遥无期。
京东云的经验是，先从模型层面进行优化，即大模型的蒸馏和量化。
原来的大模型参数应用的32位或64位的浮点数作为参数，但浮点数占用空间大且运算较慢。京东云可以通过4位或8位的数字来模拟浮点数参数，保证精度的同时再通过流式计算的方式提高模型的运行速度。这样大模型平均生成每个Token的运行成本大大降低。
其次，优化大模型推理阶段的算力损耗。不同于需要大量并行计算的训练阶段，推理需要的数据量相对较少。此外京东平台商家调用大模型应用的时间会呈现波峰波谷，这意味着对计算资源的调度十分关键。
京东云在计算资源调度上久经沙场了。通过混合多云操作系统云舰，京东云可对超1500万核容器秒级调度则可以解决推理阶段的算力能力。
这套能力源于常年支持618和11.11。所以借助计算调度能力，京东云在11.11期间可以为几十万需要大模型应用的商家部署独立的容器完成计算支持，应用完成后再快速释放，既灵活高效，又节省成本。
想要实现算力降本，还有个不容忽视的部分，即数据中心的运行电力成本。
数据中心是大模型的训练与应用的数字设施基础，24小时连续运行，电力成本占运营总成本的60%-70%；随着大模型带动AI 服务器需求快速提升，因AI 服务器中大量使用高功率 CPU、GPU芯片，使得服务器整机功耗以至机柜功耗急剧走高，带动数据中心用电规模迅速增长。
且随着电力市场化改革深入，市场交易电价上下浮动范围不断扩大，数据中心运行电力成本不断攀升，因此如何降低数据中心的电力消耗，已然成为算力降本道路上不可避免的最大挑战。
面对这个挑战，京东云基于多年来对研发大模型的能力积累和大模型对数字基础设施需求的深切理解，创新推出了“阿尔法”智能算力模块高功率密度解决方案，可根据数据中心基础条件及服务器配置需求，定制化提供相应的产品解决方案。
这其中包括风冷型及液冷型两个系列模块产品解决方案：
风冷型算力模块配套采用风墙型空调，风墙型空调功耗较传统机房空调可降低30%，并可灵活匹配冷冻水、相变自然冷却空调冷源系统；液冷型算力模块配套采用冷板式液冷系统，空调系统全年平均运行能效可将PUE制冷因子低于0.07，从而大幅降低数据中心运行能耗及运行电力成本，最终实现算力成本的下降。
在面对AI浪潮时，京东的步伐其实跟OpenAI的成长过程有很多不约而同之处。OpenAI的班底是几个硅谷极客，坚信人工智能可以改变世界。而京东同样以技术为起点，以为产业赋能为最终目标，交出了一份值得业界参考的答卷。
这份始终围绕产业思考的诚心其实更加可贵。
而京东的故事也证明了，能够在技术风口期内，迅速把握方向，从学术理论走向产业，其实并不简单。这既需要对前沿技术的高瞻远瞩，又需要对当下终端需求的敏感和精准捕捉。这对一个企业组织的沟通效率、软硬件融合能力、以及投研实力都是巨大的考验。
在科技企业的商业战争中，最终获胜的通常不是那个技术开创者，而是真正将技术推广出去，通过工程上的点滴进步，最终为产业带来红利的企业。
而这方面，其实一直是京东等中国科技企业的长项。
作者：叶子凌
编辑：陈彬
视觉设计：疏睿
责任编辑：陈彬