蚂蚁百灵大模型升级多模态能力
7月6日,在上海举行的2024世界人工智能大会(WAIC)上,蚂蚁集团公布了蚂蚁百灵大模型的最新进展:百灵大模型已具备能“看”会“听”、能“说”会“画”的原生多模态能力,可以直接理解并训练音频、视频、图、文等多模态数据,并已深入应用于生活服务、创新医疗服务等多个领域。
百灵大模型多模态能力,具备支持规模化应用的能力,能支持AIGC、图文对话、视频理解、数字人等一系列任务。
在丰富的应用场景下,百灵大模型的多模态能力已经被应用在生活服务、搜索推荐、互动娱乐等场景。比如通过支付宝的智能助理,用户可直接用语音在星巴克小程序下单咖啡;又比如在医疗领域,多模态能力可帮助用户对超过100多种复杂的医学检验检测报告进行识别和解读,还可以检测毛发健康和脱发情况,对治疗提供辅助。
以蚂蚁百灵大模型为基座模型,蚂蚁的多模态医疗大模型添加了包含报告、影像、药品等百亿级中英文图文、千亿级医疗文本语料及千万级高质量医疗知识图谱。
这个多模态医疗大模型不仅提供智能问答、病历结构化和检索、辅助诊断,还可识别解读药品及上百种复杂的医学报告,进行毛发健康检测等,这些都能嵌入医院等机构医疗环节全流程,创新医疗服务的同时,也助力提升机构运营效率。
在2024 世界人工智能大会上,支付宝、人民卫生出版社、北京大学医学部、浙江省卫生健康委、厦门市卫生健康委员会、浙江省人民医院、上海交通大学医学院附属仁济医院、北京大学人民医院、复旦大学附属肿瘤医院、上海市第一人民医院、首都医科大学附属医院等20多家机构、企业,联合发起AI医疗共建计划,共同探索大模型应用及各类专科模型创新研发。
另外,蚂蚁还发布了“隐语 Cloud”大模型密算平台,通过软硬件结合的可信隐私计算技术,在大模型托管和大模型推理等环节实现数据密态流转,保护模型资产、数据安全和用户隐私。“隐语 Cloud”大模型密算平台提供公有云和专有云交付方案,支持市面上主流的通用大模型。
上游新闻记者 杨昕华