近日，研究人员对谷歌最新研发的视频生成人工智能模型Veo-3进行了深度测试，结果显示该模型在生成高度逼真的手术视频方面展现出惊人能力，但在医学操作逻辑的理解上却存在明显短板。在实验中，研究团队向Veo-3提供了一张真实的手术图像，要求其预测接下来8秒内的手术进展。为了科学评估AI的表现，研究团队特别构建了名为SurgVeo的评测标准体系，该标准涵盖50段来自真实腹腔和脑部手术的视频数据。研究小组邀请了四位具有丰富临床经验的外科医生，对AI生成的视频进行独立评分，评分维度包括视觉真实性、器械使用合理性、组织反应真实性以及手术逻辑连贯性等四个关键指标。
尽管外科医生对Veo-3生成的视频视觉效果给予了高度评价，称赞其”清晰度令人惊叹”，但深入分析却揭示了AI在医学专业知识上的严重不足。在腹腔手术测试中，Veo-3的视觉合理性得分为3.72分（满分5分），但器械操作得分仅为1.78分，组织反应得分1.64分，而手术逻辑性评分更是低至1.61分。特别是在神经外科场景测试中，Veo-3的表现更为令人担忧，8秒后的手术逻辑性得分仅为1.13分。研究团队发现，超过93%的评估错误集中在医学逻辑层面，具体表现为虚构不存在的手术器械、模拟不符合生理规律的组织反应等严重问题。
为了进一步验证模型性能，研究团队尝试为Veo-3提供更多上下文信息，如手术类型和具体操作阶段等辅助数据，但实验结果显示这种改进并未显著提升AI的表现水平。这一研究结果表明，当前的视频生成人工智能距离真正理解复杂的医学操作仍有相当大的技术距离。虽然未来这些系统有望应用于医生培训和术前规划等领域，但现有模型尚未达到安全可靠的临床应用标准。研究团队计划将SurgVeo数据集开源，旨在推动学术界在AI医学理解能力方面的研究进展。这一发现同时也提醒医疗行业，在医学培训中使用此类生成的视频存在严重风险，可能误导学习者的认知，导致错误的手术技巧形成。
划重点：Veo-3模型能生成逼真的手术视频，但缺乏医学逻辑理解；超过93%的错误源于医学逻辑问题，严重影响视频准确性；研究团队计划开源数据集，以促进AI在医学理解方面的进步
