医疗保健中的生成式AI：这是我们的海明威时刻吗
文：城主
这是一位顶级医疗专家对数字医疗发展的讨论和AI进入医疗保健领域的预测。他将这个时期称为“海明威时刻”，意指一种逐渐然后突然的变化，类似于海明威在《太阳祭坛升起》中描述的人物破产的方式。他认为，医疗保健领域的数字化转型将是这样的过程，尽管起步较晚，但未来几年将会有惊人的变化。
讲座来自加州大学旧金山分校医学系主任、畅销书《数字医生：医学计算机时代黎明的希望、炒作和伤害》的作者鲍勃·瓦赫特（Bob Wachter），他讨论了医疗保健的数字化发展——从大约 15 年前开始广泛引入电子健康记录开始。他将描述将塑造生成式人工智能工具（如 GPT-4 和 Gemini）实施的当前背景，并分析（正如他在最近的一篇 JAMA 文章中所做的那样）为什么未来几年为真正的数字化转型奠定了基础。
视频完整版分享：
医学博士 Robert M. Wachter 是加州大学旧金山分校医学系的教授兼系主任。鲍勃写了300篇文章和六本书，在1996年创造了“住院医生”一词。他是医院医学学会的前任主席，美国内科医学委员会的前任主席，以及美国国家医学院的当选成员。2015年，《现代医疗保健》杂志将他评为美国最具影响力的医生高管。
总结一下讲座的主要内容：
Bob Wachter是多个委员会的董事会成员，为很多数字和人工智能领域的公司提供建议。尽管医疗保健领域的数字化转型过程中存在许多挑战，但Bob看到了新的人工智能，特别是大语言模型和基础模型的潜力。
Bob回顾了过去十到十五年医疗保健领域的数字化转型，特别是电子健康记录的应用。虽然电子健康记录的应用带来了许多便利，但也带来了一些未预料到的问题，如文档负担和电子收件箱的问题。Bob认为，解决这些问题需要技术的改进和组织的演变，需要以全新的方式利用技术完成工作。
Bob引用了诺贝尔经济学奖得主罗伯特·索洛的话：“除了生产力统计数据之外，你随处都可以看到计算机时代。” 这是一个生产力悖论。尽管电子健康记录提供了一些优势，但并未带来显著的生产力提升。这可能是因为电子病历的质量不佳，以及我们还未重新构思这项工作的方式。然而，历史表明，每个行业的生产力悖论总会自行解决，平均时间在2到10年之间。医疗保健行业的复杂性可能会使这个过程延长到10到20年。
新的人工智能技术，如生成式AI和GPT-4，可能会推动这一趋势。这些技术是否能够解决现有技术无法解决的问题，以及当前的医疗保健生态系统是否有某些方面可以促进互补创新或绕过对它们的需求，是需要回答的两个关键问题。
尽管人工智能在医疗保健领域的应用并非新现象，但其在过去几年中的技术进步令人印象深刻。然而，这些技术也存在一些问题，如幻觉问题，即机器试图找到问题的答案并有弥补问题的倾向。尽管如此，越来越多的证据表明，这些技术非常好，将产生有意义的变化，并且我们可以开始在医疗保健用例中推出它们，并深思熟虑、负责任和安全地进行。
Bob讨论了GPT-4在真实组织背景下的应用，包括通过医学委员会审查、法律委员会审查，甚至在解决《新英格兰杂志》CPC案件上表现得比专家更好。同时谈到了一项尚未经过同行评审的研究，该研究使用了一个名为“AIME”的人工智能系统，该系统可以提供对话、诊断和治疗建议。研究结果显示，无论是从专家对临床医学的看法，还是从患者的反应来看，人工智能的表现都优于医生。
最后，Bob讨论了生成式人工智能可能带来的问题，包括数据质量、黑箱问题、道德问题和差异、数字鸿沟、隐私和安全问题，以及去技能化和自动化的自满。尽管存在这些问题，但Bob认为生成式人工智能已经为医疗保健做好了准备。
Bob提到了一些即将出现的技术，如数字抄写程序和风险预测工具。他强调了预见到可预测问题的重要性，如偏见、幻觉和自动化自满，以及应对不可预测的问题。最后，Bob提到了他们部门的一些新职位，如临床信息学和数字化转型部门负责人，首席健康人工智能官等。他认为这些新职位是临床操作中需要进行的治理变革的一个例子。
=以下是本城根据讲座内容重新整理的书面全文版=
主持人：
各位下午好，欢迎参加医学大查房。今天，我有幸向大家介绍一位杰出的演讲者，他就是我们的医学主席，鲍勃·瓦赫特博士。他来此是为了探讨医疗保健领域的生成人工智能。这是否是我们的海明威时刻？你很快就会明白这个表述的含义。如今，人工智能和ChatGPT-4无处不在，不仅频繁出现在头条新闻中，也已经融入我们的电子健康记录中。我们将讨论其变革潜力。
瓦赫特博士是这个领域的一位杰出专家，他在这个领域拥有丰富的专业知识。他是《数字医生：医学计算机时代黎明时的希望、炒作和危害》一书的作者，这本书详细追踪了电子健康记录的演变及其采用或缺乏的情况，从婴儿时期一直到现在。他已经在全国乃至全世界的医学大查房、院系讲座、大学讲座中发表了这个演讲的一个版本。你可能已经读过他最近在《JAMA》上发表的关于这个主题的文章，探讨人工智能的前景，以及它如何影响我们的临床领域、研究领域和教育领域。
瓦赫特博士的简历非常丰富，我们需要整整一个小时才能读完。他是我们医学系的系主任，也是一位教授。他创造了“住院医生”和“住院医学”一词，使加州大学旧金山分校因此而闻名于世。他的研究重点实际上集中在电子健康记录、技术以及从EHR的采用到现代的医学数字化转型的兴起。他是我们所有人的导师和赞助者，我们很高兴今天能向他学习。非常感谢你，鲍勃。
Bob：
站在麦克风的这一边，感觉很有趣，也很不同。因此，我期待与您讨论我认为未来十年医疗保健领域发生的最有趣和最重要的事情。那么让我继续讨论吧。我把这个标题定为“这是我们的海明威时刻吗？”你可能想知道我在说什么，我稍后会解释。
我是多个委员会的董事会成员并为其提供建议，其中包括一些数字和人工智能领域的公司。我今天不会谈论他们的任何产品，尽管我与他们的合作帮助我了解了这个世界的这一地区。
海明威在1926年写的《太阳祭坛升起》中，我正在讨论其中一个角色破产了。那么问题来了，一个人怎么会破产呢？他的一名角色问道。答案有两种：逐渐的，然后突然的。如果你看看医学的数字化转型，你不得不说它是渐进的，坎坷不平，充其量是不确定的。如果你想一下通过亚马逊购买产品、通过Netflix获得娱乐、预订飞机、计划旅行、处理财务的方式的转变，我们在数字游戏方面已经很晚了。事实上，几乎所有其他行业都经历了广泛的数字化转型。医疗保健确实起步很晚。但我想说，这是我们的海明威时刻。在这个时刻，过去几年发生的所有事情显然都是渐进的，但转变会有些突然。我并不是说下周会突然发生。在接下来的几年里，您将会以令人惊叹的方式看到数字化转型的产品。
所以我将在大约45分钟内讨论电子健康记录以及我们对数字化转型的了解，我想留出至少10分钟的时间进行讨论。答案是这比看起来要困难得多。它比我们任何人想象的都要坎坷得多，这就是为什么我花了一年的时间来写一本关于它的书。我认为这非常困难。然后我会花大部分时间谈论新的人工智能，我会把它放在生成人工智能的范畴下，谈论大语言模型和基础模型。谈论它的方式有很多，但我认为就我们的目的而言，一年半前刚刚以ChatGPT的形式出现的新人工智能，现在还有很多其他版本。以及一些机遇和挑战是什么。这是我们的海明威时刻吗？我已经给了你最终的答案，我认为是的。
正如Lakshmi提到的，大约一个月前，我与Eric Brynjolfsson在《JAMA》上写了一篇关于此问题的文章，我将在今天的演讲中多次提到他。埃里克在斯坦福大学。他是那里的经济学教授，而且是这个国家、世界上真正的领先思想家之一，在行业的数字化转型中，医疗保健并非如此。所以这是一次很好的合作。
因此，让我们回顾一下我过去在这里谈论过的事情，但我认为这是一个值得回顾的事情以及我们要讨论的事情的基础，医学的数字化转型真正开始于大约10到15年前的电子健康记录。现在，人们有时会来问我，为什么医疗保健如此害怕技术？为什么你们是这样的勒德分子？显然，这是完全错误的。前往放射科或电生理学实验室（手术室）。我们热爱科技。数十年来，我们一直非常愉快且良好地使用它。但这些都是解决单一问题的技术，其焦点非常狭窄，唯一需要学习如何使用它们的人是一小群专家。因此，当我谈论数字化转型时，我指的是我们工作和思考工作的整个方式，以及拥有数字化基础的方式。事实上，这一切从15年前就开始了。
这是电子健康记录采用的曲线对于非联邦急症护理医院，医生办公室采用电子健康记录的曲线大致如下。你看，这件事的主要信息还不到15年前，即2008年，不到十分之一的美国医院拥有电子健康记录，这意味着他们完成了他们的工作。对于年轻人来说，很难想象这就是工作的方式，但我们在纸上潦草写下，我们使用传真机，我们使用便利贴。这就是我们记录患者情况、获取数据和移动数据的方式以及我们分析它的方式。实际上在大约五年内，到2015年左右，以前只有不到十分之一的医院拥有电子健康记录，现在只有不到十分之一的医院没有。这是一个了不起的转变。这是怎么发生的？你可能会问，之所以会发生这样的事，是因为联邦政府投入了300亿美元作为2008年刺激计划的一部分，政府向医生和医院提供了奖励金，基本上是鼓励他们采用电子健康记录，如果不这样做则进行处罚。所以这是加州大学旧金山分校首次采用电子健康记录的时代，我们是很好的伙伴。几乎美国的每家医院和几乎每家医生办公室采用电子健康记录。现在，这就是那个时代的我。我想，孩子，这会很棒。我的iPhone非常棒。我喜欢开放式桌子。我喜欢在线预订机票。我喜欢在亚马逊上买东西。那么，当我们从存储信息、通过传真机在纸传输信息到在这些数字机器中记录有关患者的所有数据时，可能会出现什么问题呢？
所以我要谈一点，我只会展示两到三张幻灯片，它们实际上是我写的一本300页书的摘要，但基本上一些未预料到的事情确实出了问题。我现在花一些时间这样做的原因是我认为值得让我们的大脑集中精力事实上，数字化转型比看起来更困难。这项技术可能看起来很酷。它可能看起来非常简单，但我们并不能很好地预测技术与工作相结合时出现的一些问题，我想这就是电子健康记录在我们身上发生的事情。这是一张您可能熟悉的幻灯片。这是一个七岁的女孩，几年前去看医生，她是一位艺术家。她用蜡笔画了这幅去看医生的回忆。你看，在中间，她旁边有一个女孩，她的妈妈，在角落里她姐姐旁边。而在那遥远的角落，回到病人正在打字的地方是医生。这是她对与医生互动的记忆。
我确信，这对你们来说非常熟悉，尤其是那些从事门诊护理的人。我认为这是一幅壮观的图画。女孩做错了一件事，有人发现吗？医生的脸上露出了笑容。那部分是不对的。我不知道有哪个医生会因为成为一名昂贵的数据录入员而感到高兴，这是我们所有人的感受，随着电子健康记录的推出。这部分是软件的错，但部分原因是现在突然医院可能会说，我希望你记录这件事或那件事，因为我们需要它来生成更好的账单或用于我们的质量衡量...出于一百个不同的原因。突然间，医生们觉得他们的任务是完成计算机可以让他们做的所有这些事情。当然，当他们在纸上乱写乱画时，这一切都是不可能的。这是一个意想不到的后果的另一个部分，我们所有的门诊服务提供者都跪下了，我们正在非常努力地努力改善。
这是电子健康记录收件箱。你看，这些是来自加州大学旧金山分校的数据，A.J.我们临床信息学和数字化转型部门的Holmgren已成为该领域研究的全国领导者。你看，从2016年开始，电子收件箱消息的数量上涨了很多很多倍因此，门诊医生平均每天要接诊病人八、九或十个小时，然后还要花几个小时处理电子邮件收件箱消息。我们谁都没有预料到这一点。我不认识任何人，我也没有看到任何关于这方面的文章。在事情发生之前，它就爆炸了。当然，如果你仔细想想，你会发现这是完全合乎逻辑和自然的。
我们为患者提供了一个患者门户，非常棒。我们给了他们很多他们通常不理解的信息。他们得到实验室结果、X光检查结果、心电图，最终得到医生的证明他们想预约与医生讨论此事。下一次预约是两个月后，有一个小有用的按钮，上面写着向您的医疗团队发送消息，而且是免费的。回想起来，这是一个愚蠢的时刻。当然，他们会那么做。事实上，他们也确实这么做了。接下来我们知道的是医生，大多数人都在门诊，跪着呼救，因为这是一个巨大的负担。
我们基本上所做的是创造和数字化，当我们处于纸质世界时这是不可能的，创造了24X7、365天联系医生的渠道没有考虑一下这个的商业模式是什么？对此的组织劳动力模型是什么？你瞧，它不起作用。所以只是两个例子，我认为文档负担和电子收件箱就是两个例子--我们没有人预料到的数字化后果，这真的很有意义。对于患者及其临床医生来说，这都是负面的。我从这个情况就可以看出，事情已经完全偏离了正轨。这是我几年前在亚利桑那州看到的一则急诊医师招聘广告。亚利桑那综合医院即将在大峡谷州开业，这是一家小型的精品综合医院。当我想到综合医院时，我会想到县城的医院，它并不是一家精品综合医院，但这家医院却是。这是他们在广告中的描述。他们有急诊室，因为如果你正在招聘急诊室的医生，你应该有一个急诊室。他们还有放射科室，两个手术室，一个小型的设施，16个住院病房，这些都是广告的一部分，用粗体字显示，显然是他们的主要卖点。他们没有电子病历系统。这就是他们试图推销的工作，告诉医生，你可以来这里，仍然可以在纸上随意写写画画。
显然，我们犯了一些错误，我将花一两分钟的时间来谈谈数字化转型前10到15年对我来说的教训，我认为这实际上是电子健康记录时代。在这里，我将引用JAMA文章的合著者Eric Brynjolfsson，他在1993年在麻省理工学院时撰写的一篇名为《信息技术的生产力悖论》的文章。生产力悖论是指一项技术进入一个行业，而他当时研究的行业是制造业、金融服务业和华尔街交易柜台。计算机的出现让每个人都关注起了计算机的神奇功能。每个人都在关注苹果和微软在做什么。他们认为，这将是一件伟大的事情。它将使工作变得更容易、更好、更有效。然而，他们发现，在一个又一个的案例中，一个又一个的行业，两年过去了，五年过去了，有时甚至十年过去了，他们却看不到任何承诺的生产率提高。他们都对出了什么问题感到困惑。
我认为，诺贝尔经济学奖得主罗伯特·索洛在1986年写的这句话很好地解释了这一点：“除了生产力统计数据之外，你随处都可以看到计算机时代。”这意味着我走进工厂，到处都是计算机，但我们并没有看到任何承诺的收益。这是为什么呢？这些计算机看起来非常灵活，能够完成我们希望它们能够完成的一些奇特的事情。事实证明，这是一个又一个行业的可预见的发现，随后埃里克和其他研究人员试图了解其背后的原因以及如何解决它。
事实证明，在解决生产力悖论之前，其背后有两件事需要解决。我把它比作一个保险箱。你需要两把钥匙。一是技术需要改进，1.0版本的表现并不尽如人意。直到他们收到了大量的用户反馈和大量的迭代周期，你才使用了32.4版本。你已经使技术变得更好，因此获得了一些优势。但当我在写书时研究这个问题时，我发现最有趣的令人惊讶的，但我认为令人大开眼界的发现并不是最重要的。最重要的不是技术变得更好。这是组织的演变，利用技术以完全不同的方式完成工作。布林约尔松和其他人谈论的是引用、引用、重新想象作品，或者有时他们写下所谓的互补创新。你必须创新组织自己的方式、管理自己的方式以及人们思考工作的方式。据报道或研究，绝对没有哪个行业在实施新技术的第一天就做到了这一点。当你做了一段时间之后，你就开始摸不着头脑为什么没有实现优势，人们开始说，也许我们应该考虑以不同的方式组织自己。这不是一件自然的事。这对于人类来说是非常困难的。我非常确信，过去50年来唯一能够在技术真正出现之前就预见到技术的用途的人就是史蒂夫·乔布斯。我们其他凡人无法做到这一点。我们必须引入技术，然后我们说，哦，这很有趣。我没有意识到发生了这种事。我们可能需要考虑以不同的方式组织自己。
我认为，如果你看看电子健康记录时代，你会说它只是在坚持生产力悖论。从某些方面来说，这是预期的结果。这些机器显然已经提供了一些真正的优势，但并没有在生产力方面带来令人印象深刻的改进。如果有的话，那就是有点相反。这可能是因为两个电子病历都不是那么好，还因为我们还没有重新构思这项工作。我们倾向于将这些东西放在现有的工作流程、劳动力和文化中。这就是解决生产力悖论所需要的。现在，在你对此感到过于沮丧之前，你应该知道，所研究的每个行业的生产力悖论总是变得更好。它总是会自行解决，但平均时间在2到10年之间，并且由于您知道的很多原因，医疗保健比其他行业要困难得多。所以我们可能谈论的是10到20年。问题部分在于新的人工智能是否会推动这一趋势。所以让我们转向，这就是我想说的关于背景和历史的全部内容，医疗保健领域的数字化转型。我将用剩下的时间来谈论新的人工智能，无论是生成式AI和GPT-4以及其他形式、Gemini、谷歌的产品还是其他产品。他们是否会绕过或缩短这段生产力悖论时期，我认为在医疗保健数字化转型方面我们仍处于中间状态？对我来说，使用伯恩希奥森模型有两个问题需要回答。一是现在的技术是否足够强大，它可以以现有技术无法解决的方式解决重要问题，并且不需要组织变革吗？第二个问题是，当前的医疗保健生态系统是否有某些方面可以促进互补创新或绕过对它们的需求？因此，我认为这是我在思考时思考的两个问题，这项新技术是否会比我们在电子健康记录中看到的更快地发展并更快地实现成果和效益，并且比其他行业的技术更快地实现？
所以现在当我们转向更多地谈论人工智能时，让我坦白一下。我在观众中看到一些人是真正的现场观众，而且可能更多是在网上，真正的人工智能专家。他们了解它的运作方式。他们了解数学。我不。我知道要成为人工智能专家并开发新工具，你必须能够计算出这些方程，也许是这个，也许是那个。我的大脑不是这样工作的。这些事我都无能为力。我对人工智能的看法，我认为这足以满足大多数普通用户的目的，是有一些数学知识，然后奇迹就发生了，然后后端有一些数学。我就是这么想的。我认为这可能就是您需要知道的全部内容。我希望到目前为止，你们中的大多数人都已经使用过这些新的人工智能技术。如果你还没有，我想你应该这样做。我认为我们都必须学习如何有效地使用这些东西。我现在可以告诉你，当我像以前那样进行Google搜索时，我现在在Google上进行GPT-4或Gemini搜索。我现在每天都会使用这些工具，每天很多次，因为我认为它们与我们以前的工具相比是进步的。但我正处于奇迹状态。我正在使用奇迹。我知道其中包含了很多东西，我对此表示赞赏。我认为你不需要很好地理解这一点，就可以认真思考它在你的工作中可能扮演的角色。
现在，我们中的一些人将人工智能视为医疗保健领域的一种新颖的现象。我想向你澄清这不是真的。人们对人工智能抱有很大的热情，这是三、四十年前的事情。这是我在医学院和住院医师实习的时候。有很多初创公司。还有医疗保健人工智能初创公司。有一些学术研究小组正在研究人工智能。他们犯了一个非常非常严重的战略错误。他们说，我们拥有这项新技术，可以取代人脑的功能。我们应该关注什么问题？您认为他们关注的问题是什么？有什么猜测吗？诊断，当然，他们专注于诊断。这就是医生所做的。这是最有趣的问题，可能也是医生所做的最重要的事情。因此他们专注于诊断。造成如此战略性错误的原因是诊断是迄今为止最难正确的事情。
考虑一下医疗保健系统的混乱和患者的安排，或者计算出手术室中的流程或发送事先授权。难道只有一千件事比诊断更容易吗？他们专注于最难的一个，但他们没有做对。现在，做对意味着你在95%或更多的时间里做对了。如果你有50%的时间都做对了，那就没什么帮助了。这就好像如果你有一个拼写检查器在50%的时间内正确，你就不会使用它。所以它很快就给出了答案，有时非常聪明，有时又非常愚蠢。我认为在这部漫画中，它被捕捉得很好，脉搏加快，出汗，呼吸浅弱。当这个家伙的背上挂着一支箭时，电脑告诉我你得了胆结石。这些人工智能系统给出的反应实在是太荒谬了。人们认识他们并了解他们，而新临床医学则表示，这毫无意义。这对我的工作没有帮助。此外，请记住，这是前电子健康记录时代。
因此，要使用这些东西，我必须先写笔记，然后进入计算机并输入所有这些数据，这是一个巨大的时间消耗。所以这些公司都倒闭了。学术团体大多解散，这导致了一个有时被称为医疗保健领域人工智能冬天的时期。所以实际上从1980年到2010年左右，有一段时间，人工智能开始在其他行业获得一些关注。想想Visa对您的信用卡账单做了什么，以预测您的支出。人工智能已经嵌入到许多其他行业，但在医疗保健领域，这几乎是不可能的。
如果你是一位年轻的院士，2005年我就说想做AI，我和其他导师会对你说，那不是一个好地方。现在，2010年左右冬天开始解冻，当IBM Watson横空出世并击败Jeopardy冠军时。如果你观看这些比赛，你会情不自禁地说，好吧，现在黄金时段已经准备好了。在医学领域，沃森大张旗鼓地推出了“沃森健康”，很多关于华生医生的文章，也都熄火了。大约三年前，IBM的Watson健康部门基本上被出售为零部件。冬天就这样继续着。
那么问题来了，现在不同了吗？我认为答案是肯定的。原因是技术已经有了巨大的进步，就在过去的几年里。对于我们这些玩过GPT-3的人来说，当它问世时，我想对于我们大多数人来说，这让我们大开眼界。这与我们之前见过的任何事情都不同。它能够进行对话，能够看似理解正在发生的事情，并且越来越像人类一样思考，而无需先前版本所需的大量编程和算法，这确实令人印象深刻。
在我开始详细描述其美妙之处之前，我想先向你们介绍一些主要的问题。你们可能已经听说过很多关于这个领域的信息，但这只是幻觉。我将用一个例子来说明，这个例子可能有些人已经从莎拉·默里那里听说过。我想莎拉大约一年前在这里的演讲中可能已经提到过这个例子，那是在我们的首届人工智能大赛中。莎拉做了一件非常聪明的事情，她使用了GPT-3.5，并要求其事先书面授权。因此，如果你是一名门诊医生，除了你的电子健康记录收件箱之外，这就是你生活中的困扰。它正在向保险公司申请书面授权，要求他们允许使用药物或支付MRI或PET扫描或任何此类检查的费用。莎拉说，"GPT-3.5，你能为我写一份向保险公司申请Pixaban处方的预授权申请吗？" Pixaban是一种针对失眠患者的强效抗凝剂。然而，对于那些不懂临床的人来说，这看起来很奇怪。因为对于失眠患者使用强效血液稀释剂没有临床依据。但是，GPT-3.5非常乐于助人地编写了这份预授权申请。
然后，莎拉读到了这篇文章，她觉得这篇文章非常有说服力，以至于她实际上进行了PubMed搜索，看看她是否错过了这篇关于使用抗凝剂治疗失眠的新文献。然而，没有这样的研究。这是幻觉。这是编造出来的。这些机器非常受欢迎。他们试图找到你问题的答案，并且他们有这种弥补问题的倾向。我会在几分钟后回到这个问题，因为这是一个实际上已经改进的领域。
这是山姆·奥尔特曼（Sam Altman），他现在是OpenAI的首席执行官，非常有名，然后三个月前被解雇了一天半，然后又被重新雇用。这是他现在发布的一条推文，一年多前，我认为这很好地抓住了这个问题。ChatGPT非常有限，但在某些方面足够好，足以给人一种伟大的误导性印象。现在依赖它来做任何重要的事情都是错误的。我认为在医疗保健领域，我们所做的事情很重要。这是进展的预览。在稳健性和真实性方面我们还有很多工作要做。因此，该领域大公司的首席执行官表示，不要那么快，让我们确保我们深思熟虑地处理这件事，特别是在像我们工作的高风险领域。
然而，我认为，越来越多的证据表明这些东西非常好，将产生有意义的变化，并且我们可以开始在医疗保健用例中推出它们，并深思熟虑、负责任和安全地进行。让我举几个例子。这就是我，我有一个熟人有这个问题，我们正在努力寻找针对这个特殊困难诊断的最佳治疗方法。所以我问了GPT-4，所以下一个版本，对于一个有过terp的65岁男性来说，首选策略是什么？我没说清楚terp是什么意思。中度帕金森病患者，现在患有前列腺癌，格里森评分为8，并且没有转移性疾病的证据。我们一直在进行的咨询，有时是路边咨询。这不是前列腺癌的最佳治疗方法，甚至不是格里森评分为某某人的前列腺癌的最佳治疗方法，对于患有两种合并症或某种程度（在本例中为帕金森病）的人来说，前列腺癌的最佳治疗方法可能会影响您之前的治疗方法。太有趣了，太复杂了。
这就是GPT-4所说的，我不会把整件事读给你听，但它说，手术可以有效，但考虑到患者既往接受过terp治疗且可能出现手术并发症和副作用，这可能不是首选。此外，帕金森氏症会使术后恢复变得复杂。确实如此，它没有阅读任何教科书章节。没有人写过关于这一特殊临床情况的教科书章节。它整合了大量的信息，根据该患者的情况，以下是我对手术的看法。这是我对辐射的看法。它可以提供良好的癌症控制。先前的治疗方案可能不会排除辐射，但需要权衡与辐射相关的特定副作用。我不知道。事实证明，如果你之前有过terp，那么放疗实际上风险更大，因为您已经清除了前列腺床，并且可能会产生更多的放疗副作用。当你使用放射治疗时，你还需要使用雄激素剥夺疗法，它对此进行了一些讨论。它最终放下了自己的观点并表示，我建议采用放射和激素疗法，而不是手术。
我认为这很有趣，因为我已经与许多外科医生和放射肿瘤学家交谈过，我的感觉是，在这种特殊情况下，手术会更好。其原因主要是雄激素剥夺疗法常常使人感到相当虚弱。如果你已经患有神经系统疾病，情况可能会更糟。所以我回到GPT-4并说，你认为激素会加剧帕金森病的虚弱吗？正如一位深思熟虑、富有同理心的同事所说，你提出了一个有效的观点。然后它接着说，它有很多副作用。其中包括疲劳、肌肉质量下降和骨密度下降。它们可以影响个人的整体实力。现在，我刚刚回去并在上周提出了相同的用例，但它并没有给我最终的答案。它做了我认为更合适的事情，这就是这三者各自的风险和收益。这很复杂，您应该咨询医生。所以我认为这是对的。六个月后，该公司进一步认识到，错误地降低镍价并不是正确的选择。这是另一个例子，说明在短短六个月的时间里，情况已经有了多大的改善。
作为挑战的一部分，你对GPT有何看法，无论如何，部分基于你三个月前或六个月前听到的事情。它正在以惊人的速度发生变化，并且几乎全部朝着积极的方向发展。当然，这对于FDA来说是一个巨大的挑战，因为它试图找出如何监管这一点？如果你批准了一种治疗肺纤维化的新药物，看看杰夫，这将是你10年后使用的药物。但如果你被要求批准人工智能用于前列腺癌的诊断或治疗建议，当你完成审批流程时，它已经比你必须查看的系统更好了。它的发展如此之快，以至于产生了很多问题。
莎拉又来了。你记得，这是她提出使用抗凝剂治疗失眠的事先授权请求的三个月后。三个月后，她重新登录，现在不是GPT-3.5，而是GPT-4。它说，对不起，但这里似乎存在重大误解。没有科学依据或临床证据表明阿哌沙班对此用途有效或合适。因此，我起草这样的请求是不道德和不合适的。那只是三个月后的事了。因此，如果你对幻觉的印象以及我们不准备在医疗保健中采用这一技术的原因，这太可怕了，基于将莎拉视为阿哌沙班的例子，这不再是系统中的缺陷。还有其他缺陷。它仍然时不时地产生幻觉，但已经比六个月前好多了。
现在，三个月前，我会说，这也是我现在做这个演讲的部分原因，我会说绝对没有实证研究表明这些东西在真实组织的背景下发挥作用。有大量的研究，而且还在不断发展，表明它可以通过医学委员会的审查。它可以通过法律委员会。它几乎比任何SAT考试的孩子都做得更好。甚至一个月前发表的一项研究表明，它可以比《新英格兰杂志》专家带来的更好地解决《新英格兰杂志》CPC案件。所以做了很多令人印象深刻的派对技巧，但没有真正的证据。我认为根据我在电子健康记录方面的经验，我真正想要的是证据，证明你把它放到一个真实的工作场所，有真实的人员、文化、治理、资金和激励措施，它实际上会兑现承诺。在过去的三个月里，出现了许多研究，其中许多尚未经过同行评审，所以我们必须拭目以待，但所有这些研究都指向当你把这个进入职场，只要你用心去做，结果非常令人印象深刻。那么让我给你举三个例子。最后一项将来自医疗保健。前两个来自其他行业。
这是为公司的呼叫中心配备GPT。这是一家财富500强软件公司。GPT部署在他们的呼叫中心。他们有一个巨大的呼叫中心，人们打电话来询问有关他们软件的问题。他们所做的是将GPT提供给呼叫中心的一半人员，并用它来启用他们的计算机。而另一半，他们没有为此接受过最少的训练。如果你使用过它，你会发现它不需要太多训练。你只需输入对话提示，它就知道你在说什么。他们在几个月内观察到了120万条聊天记录。每小时成功解决的呼叫数量增加了14%。客户满意度上升，员工保留率也提高。他们发现，我们在几乎所有的研究中都看到了这一发现，最大的进步是技能最低的工人和最新的工人。换句话说，似乎技能更高、经验更丰富的工人并不那么需要这个，但特别是对于年轻和新员工来说，它可以帮助他们比其他方式更快地完成学习曲线。它做了什么？有人打电话来说，我对优质照片集感兴趣。该订阅如何运作？呼叫中心人员无需思考或搜索。GPT看到问题后，只需单击一下即可自动提取照片集。从而显著缩短了得出正确答案的时间。
这是几个月前刚刚发表的另一项研究。这就是波士顿咨询集团，大型高端咨询公司之一。而他们现在被要求做的，是一个更加复杂的任务。我们并不是要求呼叫中心只是为打电话的人找到正确的信息。我们要求一个咨询小组帮助一家假设的鞋业公司制定其业务和营销策略。所以这是在看市场潜力。你是建店？你们主要做网上销售吗？如果你要建造商店和实体店，你会把它放在参与者中，新入行且基础技能较低的人员有所提升，我估计提升了43%，而技术水平最高的一半参与者也有所提升，但提升幅度仅为17%。因此，每个人都能看到的主要好处是，低技能和新工人的提升更为显著。那么，这与医疗保健有何关系呢？这是一项尚未经过同行评审的研究，因此请持保留态度。显然，谷歌对此非常感兴趣，企业也希望帮助你相信他们正在做一些非常美妙的事情。但这种情况几乎总是在后来的同行评审出版物中得到证实。因此，我相信这是真实且正确的。这是五天前才发布的。
他们进行了一项随机双盲交叉研究，让演员患者以OSCE格式摆出149个案例场景。教育界的人都知道那是什么，但基本上都是患者和医生之间正常情况下的来回对话。他们所做的基本上是将这些病例呈现给初级保健医生或他们的人工智能系统版本，该系统经过调整可以在人工智能中提供对话、诊断和治疗建议。他们将其称为“Articulate Medical Information Explorer”或“AIME”。
它基本上是一个大型语言模型，主要是为了这个目的而训练的。因此，他们花了几个月的时间进行尝试，并在系统出现问题时向系统提供反馈。现在在以前从未见过的新案例上进行了尝试。提出了149个案例场景，他们对这些演员患者进行了盲法调查进行评估，这些患者不知道是初级保健医生还是人工智能给了他们答案，然后专家们会检查诊断和建议的质量。
对话是这样的。这位患者随后写信说：我感到胸部和上腹部疼痛。AI问道，我打断了一些对话。AI已经问过病人，你能比你描述的更详细一点吗？病人说，感觉胸部有重物，上腹部感到不适。我不会将其描述为燃烧或刺痛，确切地说更像是一种相当明显的持续压力。AI说，这个描述很清楚，谢谢。它帮助我缩小可能性，但为了给你最好的建议，我需要更多的背景知识。首先，你的年龄是多少？您有任何重要的病史吗？这包括心脏问题、高血压或既往手术。病人继续给出答案。它会持续大约七八个来回，直到人工智能提出他们认为正在发生的事情以及你是否需要去急诊室或看医生或开始某种治疗的建议。
这是他们的发现结果。左边是专家对临床医学的看法，右边是患者的反应。人工智能的结果是粉色的，医生的结果是蓝色的。更好的是图表可以延伸得更远。你可以看到，在三个领域中，患者被问及他们的看法，患者对护理的信心，感知到的开放、诚实和同理心，人们认为人工智能更好，包括比医生更有同理心，这是多项研究中发现的结果。当专科医生被要求查看诊断和建议的质量时，他们认为人工智能更准确，更好的管理计划和升级建议大致相同。所以你必须看看这个并说，至少它是好的，并且可能比回答相同病例场景的医生更好。什么是一个相当真实的世界他们设定的一组条件。这是排名前10位的诊断结果。这是专家的判断关于诊断准确性的质量。你可以看到，人工智能在每一个方面都比医生做得更好。所以对于我们这些喜欢我们工作的人来说，这在某种程度上令人兴奋，也有点可怕，但显然我们已经过了可以说我们不要关注这一点的地步了。它还没有为医疗保健做好准备。我认为它已经为医疗保健做好了准备。
因此，让我尝试将所有内容整合在一起。与包括电子健康记录在内的现有技术相比，生成式人工智能是否需要更少的补充创新和整个系统的更少变化才能产生影响？我认为答案是肯定的。使用它几乎不需要训练。有一种东西叫做Prompt工程。实际上，您可以在放入其中以获得更好响应的各种内容方面做得更好，但您可以注册GPT 4.0立即输入提示，无需任何训练即可获得有用的答案。更容易集成到现有软件，包括电子健康记录和工作流程。
因此，请考虑从纸质文件到电子病历的转变。我们需要将计算机放置在各处，并弄清楚每个人将如何度过他们的一天。现在，您每天花费大量时间，而不是阅读纸质图表，而是在计算机上打字并从计算机上阅读。向人工智能的过渡是你已经在使用计算机了。你一直在使用这些工具。现在的问题是输出是什么？因此，我认为从纸质到电子病历的提升要轻得多。所以你会看到，新的人工智能产品能够融入你的电子健康记录，你仍然在Epic上打字，但现在它正在做一些Epic无法做的事情。这是一件容易得多的事情。这不是小事。仍然需要做大量的工作来整合它，但比几年前要容易得多。
主要的EHR公司Epic和Cerner也在非常非常努力地构建人工智能，我们开始看到这些东西推出，而且我们会看到越来越多。Epic与OpenAI和Microsoft建立了合作伙伴关系。Cerner被大型软件公司Oracle收购，部分原因是他们相信人工智能专业知识会有所帮助。因此，您很快就会在计算机和工作流程中看到更多这样的内容。已经有很多初创公司和老牌公司致力于解决医疗保健问题他们已经接受了这种人工智能并将其应用到他们的产品中，并且在GPT发布后的六个月内就真正做到了这一点。
我认为医疗保健和数字化领导者已经从过去十年中吸取了教训。我认为我们对于如何在医疗保健领域进行数字化工作不再像以前那么天真了。我们比以前更不相信炒作了。我们已经培养了领导者，我在这里看到了其中的一些人，他们的职业生涯涉及医疗保健、信息学、数字化，以及如何使其发挥作用、研究和教学。我认为我们现在已经掌握了很多以前没有的东西。医疗保健领域的劳动力短缺可能会减少政治阻力。它不会让它消失。
想想去年美国发生的两次大罢工。一个是汽车行业，另一个是好莱坞，他们主要讨论的是，人工智能会取代我的工作吗？因此，随着这些工具的出现，将会出现政治阻力，但在医疗保健领域，医生、护士以及计费部门的人员非常短缺，我认为如果这项技术能够改善我的生活，它会更受欢迎照顾病人更容易，而且我认为与其他行业相比，对工作替换的恐惧要少一些。
让我花几分钟讨论一下可能会出现什么问题，结果是，当我们思考生成式人工智能时，只用一分钟的时间来讨论人工智能的问题，这本可以是一个完整的演讲。我只是想让你意识到它们。我们可以在讨论中谈论它们。显然，人工智能可以使用其拥有的数据，而这些数据主要来自电子健康记录。他们仍然可以编造一些东西。仍然会有幻觉的问题，还有垃圾进、垃圾出的问题。如果HR中的数据错误，那么AI的输出也会错误。黑匣子问题。临床医生会遵循他们不理解的推导预测和建议吗？我认为这是一个悬而未决的问题。
许多人工智能公司不仅致力于为您提供答案，而且还为您提供他们从何处获得答案。因为他们相信，如果我们知道来源是什么，我们就会更加相信答案。我认为他们这样做是合理的。很多道德问题和差异。如果电子病历对过去的做法进行审查表明，黑人骨折患者比白人患者获得的止痛药更少，那么人工智能就会相信这是治疗黑人患者的正确方法，并将其纳入其治疗建议中。你还可以举出100个其他例子。因此，它并不比我们更有偏见，但它可以将这些偏见嵌入到其建议中。因此，需要做大量的工作来思考如何预防这种情况，并消除这些系统的偏见。
此外，还有对数字鸿沟的担忧。随着越来越多的护理以数字方式提供，我们需要确保人们能够使用无线网络以及他们需要的所有东西。最后，还有大量的隐私和安全问题。数据共享存在很多障碍，包括担心安全漏洞，以及谁拥有数据？算法是否会被黑客攻击是一个问题？如果人工智能犯了错误，谁该承担责任？
同样，我几乎可以在每个问题上花费一个小时。它们是大问题。我们会给他们很多思考。我将花一分钟时间讨论一个我特别喜欢、我认为很有趣的问题，对我们训练界尤其重要，这就是去技能化和自动化的自满。当AI是对的时候，50%的时间，它没有帮助，你不会使用它。当人工智能100%正确时，那就太好了，只是我不确定我们要做什么。问题是人工智能在一段时间内的正确率会达到90%，因此，你将拥有一个由医生或护士负责查看结果并签字的系统。这听起来相当强大，并且是一个自动防故障系统，只不过它不在任何人类系统中。
这个故事在过去的航空界经常被讲述，在航空界，在一架大飞机上，你的驾驶舱里有三个人。你有一名飞行员、Copilot和飞行工程师，大约30年前，他们抛弃了飞行工程师，他们不需要第三个人。航空界有句俗话：最终你将拥有的不再是两个人，而是一名飞行员和一只狗，俗话说，飞行员会陪伴狗，如果飞行员试图触摸控制装置，狗就会咬飞行员，因为飞机基本上会自行飞行。这很有趣，直到你想到一些相当引人注目的航空事故，这些事故是由于计算机出现故障而飞行员不知道该做什么，因为他们已经失去了技能。他们只有在电子设备工作时才知道如何驾驶飞机。
所以这就是去技能化，但更大的问题可能是自动化的自满。如果人工智能99%的时间都是正确的，那么放射科医师在签署放射学报告之前是否真的阅读过放射学报告？答案是人类很难集中注意力。我们知道这一点，因为我们已经在汽车自动驾驶领域看到了这一点。这是特斯拉自动驾驶仪驾驶员手册中的内容显然是由一群非常昂"在一秒钟内知晓并对正在发生的事情做出反应，这听起来可能有些荒谬，但实际上可能是有效的。
让我回顾一下几年前发生的一起特斯拉事故，这是一起相当知名的事件。当特斯拉汽车进行计算机模型计算时，我认为它有160英尺的反应时间，然后司机才意识到汽车将驶入一辆非常大的卡车。可悲的是，司机并未能避开，汽车真的撞上了卡车，导致卡车将汽车和司机的上半身都剪掉。显然，司机因此丧生。这个事故实在太疯狂了。我们不能期待有一个始终准确的系统，并且要求人类负责签字，如果他们签字后出现问题，从渎职的角度来看，我们将承担责任。我不知道如何解决这个问题。我认为这是我们必须解决的一个真正问题，这在训练领域非常重要。因此，我以此结束，以确保我们有一些时间进行讨论。这就是我现在的想法。
我认为你应该将过去10年或者15年的医疗保健视为基础。这意味着我们已经创建了现在数字化的数据，以数字方式完成我们工作的工具，这方面的专家事实上现在所有人都习惯了数字化工作。当我与居民或学生谈论过去的日子时，我们在纸上绘制图表，进行X光检查，然后将其放在灯前，就像我在日志中谈论我的童年一样。我不想......他们只知道数字健康。所以我们已经经历了这一切。我们现在已经在某种程度上创建了治理，以弄清楚如何使其发挥作用并做出决策。在某种程度上，文化。我认为所有这些都是基础性的，让我们为医学的数字化转型做好了准备。电子健康记录将越来越成为这些新技术的基础。所以你永远都会在某件事上。我们认为这是电子健康记录，但它会越来越多地为你做一些事情，这些事情可能是Epic没有做的，但据我们所知，是其他公司已经做的，或者UCSF做的。
低垂的果实，意思是会做一些简单的事情。我认为我们会比80年代的人更聪明。我们将从物流和运营开始，调度、计费、事先授权、患者沟通。其中一家正在开发预先授权引擎的公司的首席执行官表示，他们现在在您输入字母O的地方就拥有了该引擎。它会打印出您对Ozempic UnitedHealthcare事先授权的事先授权。它知道这就是您想要做的。因此，所有这些都是一种容易实现、唾手可得的成果，而且风险也没有那么高。而不是从诊断和治疗等临床高风险领域开始，但这也并不遥远。
我认为，在某些方面，这将从临床护理的操作问题开始。从加州大学旧金山分校开始，我们现在正在推出数字抄写程序。因此，过去几年我们为我们最大量的流动文档提供的人类抄写员，越来越多，我认为在几年内，每个医生都会有一个数字抄写员。您将与患者交谈，您的笔记就会出现。该领域的公司已经经历了一段时间的反弹，但现在已经准备好迎接黄金时段了。现在技术已经相当不错了。您还将拥有系统，Epic正在构建其中一个系统，但也会有其他系统，也就是说，总结患者的过去病史并浏览300页的注释，并为您提供一页摘要患者的既往病史，并以临床上实际上相当可信的方式进行。您还将看到患者选择以及正在推出的风险预测工具。这就是你之前首先看到的，然后您开始看到建议的诊断和建议的治疗。
我们需要预见到可预测的问题，例如偏见、幻觉和自动化自满，加上不可预测的事情。如果我能预测它们，我会告诉你它们是什么，但我不知道它们会是什么。我只知道我们会见到他们以及一些政治阻力。但我认为医学数字化转型的舞台终于搭建好了。我认为这非常重要，特别是对于像我们这样的地方来说，评估这些实施，确保收益大于风险，并重新考虑我们的组织结构图，以确保我们现在为新型数字工作做好了准备，包括人工智能。
我将向您展示一些工作和人员的示例。这些工作岗位在六个月前还不存在。所以在我们部门，我们成立了临床信息学和数字化转型部门，朱莉·阿德勒·米尔斯坦 (Julie Adler Milstein) 担任部门负责人。就在此时，七个月前，部分原因是准备研究这项工作，成为该领域教育的领导者。对此非常非常兴奋。我猜，大约三四个月前，我们部门的 Sarah Murray 成为了首席健康人工智能官。直到六、八个月前，我们才知道我们需要一位首席健康人工智能官，当时我们意识到我们绝对需要有人来负责这一切，并找出如何让这一切发挥作用。我认为这只是临床操作中需要进行的治理变革的一个例子，进行研究和教育。我为我们所做的工作以及这些人和许多其他人（包括在座的许多人）所做的工作感到自豪。
我确实认为生成式人工智能的独特力量加上我们在过去10到15年中所做的信息学基础工作以及卫生系统转型的迫切需要将创造我们的海明威时刻。如果你学的是医疗保健，我会说海明威可能会说的话，您如何描述医疗保健的数字化转型？星号是几年后，这不是明天，但也不是十年，而是两年、三年、四年。我认为答案是医疗保健在很大程度上发生了转变，变得更好，逐渐地，然后突然地，我想现在是我们的时刻了。
我认为在加州大学旧金山分校，我们有能力成为这方面的领导者。非常感谢您的关注。
QnA:
主持人：鲍勃，非常感谢你创造了历史杰作，感谢你现在所处的位置以及我们要去的地方。我们从现场观众和数字观众那里提出了一些问题。
Annie Leukemeyer 博士提出了一个问题。她询问，您如何看待 GPT-4 等工具的有时限性？一方面，你可以说它发展得很快，但另一方面，它不一定访问上周的研究或我们如何将其纳入医学文献。
是的，答案是如果您可以访问上周的研究，那么它也可以。现在到目前为止还没有，因为到目前为止，当 GPT-4 首次推出时，它拥有一个到2021年为止都可用的信息库。所以人们已经习惯了它目前还不是最新的想法。新的 GPT 和 GPT-5 最终将推出将会和我们一样与时俱进。当然，问题是这个东西如何审查文献并知道这项研究是好是坏，它是否会衡量影响因子或者给编辑的信等等？我认为这些都是棘手的问题，但对我们来说也是棘手的问题。但我认为你可以从新的人工智能中得到及时的响应，我们已经习惯了他们的时间滞后。我认为未来的情况不会如此。
我很好奇只是想了解一下你上一篇关于加州大学旧金山分校在这个领域的地位的帖子，您认为卫生系统的作用是什么？我们是否与公司共同开发某些技术，或者我们的最佳角色是帮助在临床护理环境中进行测试和验证？或者我们是在观察事情的进展，也许一旦 Epic 在其他20个大型卫生系统中进行了测试，我们就会开始实施类似的事情。
是的，这是一个引人注目的问题。那么问题是学术健康中心在这项工作中扮演什么角色？我认为诚实的答案是我不知道，因为我认为它是如此新，而且发展得如此之快。我认为大部分的发展由于需要的规模，你需要的技术量，很多发展将发生在企业界、初创企业界，创业世界和微软、谷歌、苹果、微软世界。我认为他们将会是，他们最终将不得不向卫生系统出售产品。因此，他们将寻找合作伙伴来帮助开发这些东西，了解医疗保健系统中的用例进行研究以验证它们在现实生活中是否有效。说它在实验室或虚构的用例中有效是一回事。另一种说法是，在现实生活中培养未来的劳动力是我们工作的一部分。
学术健康系统真的很有趣，因为你的商学院并不经营企业。法学院不经营律师事务所。我们集临床系统、教育、研究于一体，具有真正的价值。但是一家非常大的风险投资公司两天前刚刚购买了一个医疗保健系统。它这样做并不是因为它认为医疗保健系统可以盈利，而是因为它想要一个学习实验室来测试新的数字工具。所以你可以看到各种新的关系。我认为作为一个卫生系统，如果我们不擅长这一点，我们不会仅仅在医疗保健系统市场中生存。我认为教育和研究领域也是如此。
我认为研究界将提出一万亿个问题。因此，我认为我们开始这个新部门的部分原因是我们需要新的研究重点。我认为这将是学术健康系统的协同作用，将所有这三件事一起做，所增加的价值超出了公司所能做到的。但这将会有很多合作伙伴关系。
作为训练项目的负责人，我有一个关于去技能的问题。这让我非常紧张，尤其是因为，正如安妮所提出的，你无法判断他正在做的研究的质量。我们的学员是否会失去理解诸如什么是伟大的研究、什么不是伟大的研究以及我们如何做我们想做的事情之间的区别的能力？所以我很好奇，是否有其他人的经验教训，比如飞行员或其他组织行业关于如何防止技能下降的问题？因为您没有接种疫苗似乎很自然。
是的，如果你从来没有这样做的话，一些去技能化是正常和适当的。正如我多次告诉人们的那样，我几乎不记得我妻子的手机号码。如果我丢了手机，我就再也见不到她了，因为我已经不擅长记住电话号码或记住方向了。我不再需要了。因此，我认为像您这样运行训练项目的人面临的部分挑战是弄清楚什么是合适的，什么是他们真正不需要再学习的东西与他们大部分时间可能不需要的东西相比，他们需要一些时间，以某种方式评估计算机的输出。我认为这将是您和其他像您一样的人在未来10年需要解决的一个核心问题。区分去技能化和自动化自满很重要。它们是相关的，但并不完全相同。我记得当我在写书时采访萨伦伯格船长时，我们正在谈论其中一些事故以及计算机开始提供不良信息的飞机。他说，他们驾驶的是一架他们不知道如何驾驶的飞机。当他的电脑出现时，他知道如何飞行，当他的飞机熄火时，因为他接受过滑翔机训练并且知道。
那么问题来了，你能模拟那些情况吗？你能建立一个模拟来让它们通过吗？计算机给出错误的答案并给他们体验。自动他们将物品放入袋子并通过X光机进行检查，以确保人们保持警觉。因为如果你连续检查了10,000个袋子，都没有发现任何问题，你可能就会放松警惕。这是一个复杂的问题，但我认为我们需要重新思考。我记得当谷歌刚刚出现的时候，有人质疑我们为什么还要教医学生记忆事实，因为你可以通过搜索找到任何信息。但实际证明，这种观点是荒谬的，掌握基础知识仍然非常重要。我认为对于人工智能也是如此。你仍然需要了解成为一名好医生的基础知识，但现在找到可靠的信息比以前更容易。这将影响我们的培训方式。
感谢你的精彩演讲。我很想听听你对面临潜在风险时的机会和利益的看法，特别是谁会承担风险，谁会受益，谁可能会受到伤害？
是的，问题在于谁会从中受益，谁会因为这些工具的潜在风险而受到伤害。我认为这通常是在系统内置的激励机制的背景下进行的。我认为围绕这个问题的激励机制并不比现在的激励机制更复杂。
我认为你有一个系统，如果你按数量付费，更多的RVU和更多的小部件正在使用，那么，如果这些工具能让护理变得更好、更安全、更便宜，你还有动力花钱购买这些工具吗？答案并不是像你应该的那样强大的激励，但你仍然有激励，尤其是在竞争激烈的市场中，尽可能做到最好，以最低的成本提供最好的结果。而且这样做还有道德动机。
我认为，关于谁承担伤害成本的问题非常有趣。因为人工智能公司，那些为特斯拉事件撰写法律文件的律师也在他们推出的每一款产品上写了一些东西，说，我们不是医生，你应该咨询医生。在任何有关医疗建议的GPT-4搜索结束时，总会有一行内容表明你应该咨询医疗保健专业人士。对于任何事情，除非是100%完美，否则他们都会有一位医生来查看结果并签字。当我们推出数字抄写员时，文档仍然需要在该注释上签名，并且如果发生不良情况，文档将是负责的人。如果数字X射线正在读取X射线，情况也是如此，但放射科医生必须签字。因此，在可预见的未来，我认为人类将会被感受到、被保留、被承担责任。数字公司可以尽一切努力确保我们不会称他们为医生，也不会将责任归咎于他们的法庭。
我认为我应该提到的一个激励因素或财务因素是按服务收费的制度，在流动世界中，唯一收费的事情是你来我的办公室参观，我会花10分钟与你在一起并写一张便条，然后将其发送给Aetna。这种方式越来越行不通了。如果你的护理越来越多地通过监控你的心率和情绪等的数字设备来提供，以及由此而来的建议，这将如何计费？因此，随着医疗保健越来越多地被解构为一大堆虚拟交互，我们获得报酬的方式必须改变，如果医疗保健系统负责的话，这里有X笔钱来照顾这位患有Y种合并症的患者。如果你做得更好、更便宜，你就会做得很好。如果你做得不好而且成本更高，你就不会做得很好。我认为基于小部件、基于交易的支付的想法将会被所有这些数字工具所取代。
也许还有观众提出的最后一个问题。黑匣子现象是否有可能适用于他们喜欢的患者，我不知道发生了什么，但我的手表告诉我我应该做X，并且初级保健医生告诉我我应该做X。我甚至不需要关注正在发生的事情，因为我得到了推荐。那么这会影响他们参与医疗保健的方式吗？
当然。所以问题是这种可解释性问题，这是否会像患者一样与患者互动？
我认为数字化，数字化的历史就是它总是使事物民主化。考虑一下你计划旅行或管理财务的方式。所以总是让事情民主化。这是一个可以凭经验回答的开放性问题。人们需要多少解释才能相信？这就涉及到可信度问题。答案是，我个人并不怎么想。我认为可信度基本上是基于他们所听到的和所看到的。当位智告诉你下高速公路并开车穿过这个小社区时，当你开车经过时，你需要位智告诉你吗？我告诉你这样做的原因是在你前方一英里处发生了车祸。只是相信位智知道这是带你到达目的地的更好路线。我认为可解释性被高估了。我认为我们将越来越无法解释某些输出。
谷歌已经证明，当你观察视网膜的背面并将其显示给人工智能时，它可以告诉你患者是否患有糖尿病、高血压和高胆固醇，并且还可以告诉你患者的性别，这是眼科医生无法做到的。没有人知道它在排队做什么，但它可以做到这一点。因此，它会越来越多地告诉你一些你无法确定推导的事情。这将是一个问题，你对公司和之前的结果有足够的信心相信它没问题吗？我认为答案，我认为趋势，我认为可解释性是一个过渡阶段。我想在某些时候你会说，事情常常是正确的，好吧，它肯定比我知道的更多，这就涉及到自动化自满的问题。因为当它出错时，我们就没有足够的资金去理解。关键是要看看结果并说，这很奇怪。那是从哪里来的？
我认为对于我们这一代的医生来说，这是很自然的，但是对于这个时代成长起来的全新医生来说，我认为，如果他们除了人工智能输出之外从未见过任何东西，而且人工智能输出在99.9%的时间里都是可信的，那么这会变得越来越困难。所以这些都是非常棘手的问题，我们必须努力解决它们。
主持人：精彩的演讲，精彩的问答。非常感谢你的参与。