大模型挑战神经外科手术领域,何时可进行自主手术
神经外科是公认的外科领域内最难的学科之一,不仅是因为神经外科医生培养周期漫长,少则十几年,多则二十多年,而且手术难度大、风险高。
随着AIGC(生成式AI)浪潮席卷,越来越多的医疗大模型应运而生,其中有大模型试图挑战神经外科领域,为医生赋能。
近日,中国科学院香港创新研究院人工智能与机器人创新中心(简称“中国科学院香港创新院AI中心”)对外发布了面向神经外科领域的AI多模态大模型CARES Copilot 1.0,实现了图像、文本、语音、视频、MRI、CT、超声等多模态的手术数据理解。同时,在医学多场景、多任务的理解与处理方面,该系统也取得了显著的进展,可有效支持包括手术阶段识别、器械与解剖结构分割、器械检测与计数、MRI高分辨率图像生成等功能。
中国科学院香港创新院AI中心执行主任、博士生导师刘宏斌对第一财经记者表示,目前公开的大模型主要是使用公开的资料训练出来的,临床医生参与较少,回答问题的方式和方向满足不了临床诊断需求,医生也无法完全信任大模型给出的答案;另一方面,医生通常会使用大量文本、影像、视频等数据,但很多大模型还是仅以文本语言为主,此次发布的CARES Copilot 1.0正解决了这些痛点。
据悉,目前CARES Copilot 1.0能够处理超过3000页的复杂手术教材,对于年轻医生的培训和教学具有很高的实用价值。该系统也能够通过深度检索功能,快速精确地提取手术教材、专家指南、医学论文等专业文档的信息,以确保提供的答案具有高度的可信度和可追溯性。
一台神经外科手术,往往耗费的时间比较长,很考验医生的耐心、细心和体力。事实上,神经外科医生进行手术时也常常被形容是在“刀尖上跳舞,悬崖上漫步”。在普通外科领域,手术机器人已得到应用,可以提高医生的工作效率。但在神经外科领域,手术机器人只是局限在导航定位这些基础功能上,还无法进行更精密的操作。而大模型能否在神经外科手术中实现人机交互,为医生赋能,甚至进行自主手术,同样颇受关注。
刘宏斌表示,目前CARES Copilot 1.0可以在手术阶段自动识别病灶和解剖结构,Copilot 2.0版本将延伸到手术指导,像教练一样提醒和指导医生哪个阶段应该如何操作。
不过,大模型要在神经外科手术中真正为医生赋能,还需要很长时间摸索。
首都医科大学附属北京同仁医院神经外科主任、研究生导师康军对第一财经记者表示,目前看人工智能发展大致上分为三个阶段:机器学习阶段、机器智能阶段和机器意志阶段。CARES Copilot1.0这个系统是专注于神经外科应用的人工智能系统,但它还处于机器学习阶段的早期,相当于人在成长过程中的学龄前阶段。
“未来发展到了机器意志阶段,可能真的由机器人独立完成脑部手术操作,就是机器知道哪里需要切除、哪里需要保留,但这个阶段还需要很长的路和时间才可能达到,至少目前还只是科幻电影里的情节。”康军说。