蚂蚁百灵大模型升级多模态能力

7月6日，在上海举行的2024世界人工智能大会（WAIC）上，蚂蚁集团公布了蚂蚁百灵大模型的最新进展：百灵大模型已具备能“看”会“听”、能“说”会“画”的原生多模态能力，可以直接理解并训练音频、视频、图、文等多模态数据，并已深入应用于生活服务、创新医疗服务等多个领域。

百灵大模型多模态能力，具备支持规模化应用的能力，能支持AIGC、图文对话、视频理解、数字人等一系列任务。

在丰富的应用场景下，百灵大模型的多模态能力已经被应用在生活服务、搜索推荐、互动娱乐等场景。比如通过支付宝的智能助理，用户可直接用语音在星巴克小程序下单咖啡；又比如在医疗领域，多模态能力可帮助用户对超过100多种复杂的医学检验检测报告进行识别和解读，还可以检测毛发健康和脱发情况，对治疗提供辅助。

以蚂蚁百灵大模型为基座模型，蚂蚁的多模态医疗大模型添加了包含报告、影像、药品等百亿级中英文图文、千亿级医疗文本语料及千万级高质量医疗知识图谱。

这个多模态医疗大模型不仅提供智能问答、病历结构化和检索、辅助诊断，还可识别解读药品及上百种复杂的医学报告，进行毛发健康检测等，这些都能嵌入医院等机构医疗环节全流程，创新医疗服务的同时，也助力提升机构运营效率。

在2024 世界人工智能大会上，支付宝、人民卫生出版社、北京大学医学部、浙江省卫生健康委、厦门市卫生健康委员会、浙江省人民医院、上海交通大学医学院附属仁济医院、北京大学人民医院、复旦大学附属肿瘤医院、上海市第一人民医院、首都医科大学附属医院等20多家机构、企业，联合发起AI医疗共建计划，共同探索大模型应用及各类专科模型创新研发。

另外，蚂蚁还发布了“隐语 Cloud”大模型密算平台，通过软硬件结合的可信隐私计算技术，在大模型托管和大模型推理等环节实现数据密态流转，保护模型资产、数据安全和用户隐私。“隐语 Cloud”大模型密算平台提供公有云和专有云交付方案，支持市面上主流的通用大模型。

上游新闻记者 杨昕华