谷歌通过其最新的 AMIE（清晰医疗智能探索器）研究，赋予其诊断 AI 理解视觉医疗信息的能力。
想象一下，你和人工智能聊聊健康问题，它不仅能处理你的话语，还能查看你令人担忧的皮疹照片，或者解读你的心电图。这正是谷歌的目标。
得益于《自然》杂志发表的早期研究，我们早已知道 AMIE 在基于文本的医学聊天中展现出良好的前景。但我们必须面对现实，真正的医学不仅仅关乎文字。
医生非常依赖他们能看到的信息——皮肤状况、仪器读数、实验室报告。正如谷歌团队正确指出的那样，即使是简单的即时通讯平台“也能利用静态多模态信息（例如图像和文档）来丰富讨论。”
纯文本AI缺失了一大块拼图。正如研究人员所说，最大的问题是“法学硕士（LLM）能否进行包含此类更复杂信息的诊断性临床对话。”
谷歌教 AMIE 观察和推理
谷歌工程师使用 Gemini 2.0 Flash 模型作为大脑，增强了 AMIE 的性能。他们将其与所谓的“状态感知推理框架”相结合。简而言之，这意味着 AI 不仅仅是遵循脚本；它会根据迄今为止学到的知识以及未来需要解决的问题来调整对话。
它与人类临床医生的工作方式很接近：收集线索，形成可能出现问题的想法，然后要求提供更具体的信息（包括视觉证据）以缩小问题范围。
谷歌解释说：“这使得 AMIE 能够在需要时请求相关的多模式工件，准确解释他们的发现，将这些信息无缝地集成到正在进行的对话中，并使用它来改进诊断。”
想象一下对话的流程：首先收集患者的病史，然后进行诊断并提供治疗建议，最后进行随访。AI 会不断评估自身的理解，如果感觉到知识上的不足，就会要求提供皮肤照片或实验室结果。
为了避免在真人身上进行无休止的反复试验，谷歌建立了一个详细的模拟实验室。
谷歌创建了逼真的患者病例，从 PTB-XL 心电图数据库和 SCIN 皮肤病学数据集等来源提取逼真的医学图像和数据，并使用 Gemini 添加合理的背景故事。然后，他们让 AMIE 在此设置中与模拟患者“聊天”，并自动检查其在诊断准确性和避免错误（或“幻觉”）等方面的表现。
虚拟欧安组织：谷歌对 AMIE 进行全面测试
真正的考试采用一种旨在反映医学生评估方式的设置：客观结构化临床考试 (OSCE)。
谷歌开展了一项涉及 105 种不同医疗场景的远程研究。经过训练的真实演员能够始终如一地扮演患者，他们要么与全新的多模态 AMIE 进行互动，要么与真实的人类初级保健医生 (PCP) 进行互动。这些聊天通过一个界面进行，‘患者’可以上传图像，就像在现代消息应用中一样。
随后，专科医生（皮肤科、心脏病学和内科）和患者演员本人回顾了这些对话。
人类医生对各个方面进行了评分，包括病史记录的详细程度、诊断的准确性、建议的治疗计划的质量，甚至沟通技巧和同理心，当然还有人工智能对视觉信息的解读能力。
模拟诊所的惊人结果
真正有趣的地方就在这里。在受控研究环境中的正面对比中，谷歌发现 AMIE 不仅稳操胜券，而且往往胜出。
在解读聊天中分享的多模态数据方面，AI 的表现被评为优于人类初级保健医生。其诊断准确率也更高，能够生成专家认为更准确、更完整的基于病例细节的鉴别诊断列表（可能出现的病症的排序列表）。
审查记录的专科医生往往对AMIE在大多数领域的表现给予了更高的评价。他们尤其关注“图像解读和推理的质量”，诊断检查的全面性，管理计划的合理性，以及在出现需要紧急处理的情况时发出警报的能力。
也许最令人惊讶的发现之一来自患者参与者：他们经常发现在这些基于文本的互动中，人工智能比人类医生更有同情心和更值得信赖。
而且，从重要的安全角度来看，研究发现 AMIE 与人类医生基于图像（幻觉结果）犯错的频率在统计学上没有显著差异。
技术永不停歇，因此谷歌也进行了一些早期测试，将 Gemini 2.0 Flash 型号换成了较新的Gemini 2.5 Flash。
使用他们的模拟框架，结果暗示将取得进一步的进展，特别是在正确诊断（前 3 名准确度）和提出适当的管理计划方面。
尽管前景光明，但该团队很快就增加了一些现实性：这些只是自动化结果，“通过专家医生审查进行严格评估对于确认这些性能优势至关重要。”
重要的现实检验
谷歌坦诚地承认了其局限性，值得称赞。“这项研究探索了一种纯研究系统，采用类似欧安组织（OSCE）的评估方式，以患者为参与者，这大大低估了现实世界医疗护理的复杂性。”他们明确表示。
无论模拟场景设计得多么精良，都无法与在繁忙的诊所里处理真实患者的独特复杂情况相提并论。他们还强调，聊天界面无法捕捉到真实视频或面对面问诊的丰富内容。
那么，下一步是什么？谨慎地迈向现实世界。谷歌已经与贝斯以色列女执事医疗中心合作开展一项研究，以了解 AMIE 在患者同意的情况下在实际临床环境中的表现。
研究人员还承认，最终需要超越文本和静态图像，转向处理实时视频和音频——这是当今远程医疗中常见的一种交互方式。
赋予人工智能“查看”并解读医生日常使用的视觉证据的能力，让我们得以一窥人工智能未来如何协助临床医生和患者。然而，从这些充满希望的发现到成为安全可靠的日常医疗保健工具，道路依然漫长，需要谨慎前行。
