一边是Nature Medicine的权威背书（图1），一边是149名医生实测的"打脸"数据（图2）。同一个AI工具，对比同样的通用的大模型，结论却截然相反——到底该信谁？
导火索：一个让AI圈炸锅的"反常"结果
2026年6月，一篇挂在arXiv上的论文再次引爆了医疗AI圈。
UCSF、哈佛、斯坦福的联合团队花了大力气，收集了620个医生在真实看病时提出的真问题——不是考试题，不是AI编的，而是来自美国医生专属AI工具--OpenEvidence（OE）平台。然后他们找来149名执业医生，覆盖36个州、30个专科，做了一件看似简单但极少有人认真做的事：把四个AI系统的答案打乱，让专科医生盲选哪个更好。
结果：专用医疗AI OpenEvidence（OE）在五项指标上全面碾压GPT-5.5、Claude Opus 4.8和Gemini 3.1 Pro。
最扎心的是GPT-5.5——这个被无数医生日常使用的"全能助手"，在准确性上输给OE整整46个百分点，在完整性上差距超过60个百分点。（图3）
图3
但就在几个月前，Nature Medicine刚发表了一篇研究，结论完全相反：通用大模型（包括ChatGPT）在医疗benchmark上打败了以OE为代表的医生专用Ai工具。（图4）
基本同样的实验组和对照组，两个完全相反的结论，到底该信哪一个？
深度拆解：两个研究的关键差异
我们研究两篇论文的方法论，发现它们的问题选择、评价医生选择、评分方法、盲法设计等等都存在巨大差异：
1.问题来源不同：真实问诊 vs 企业聊天记录
关键矛盾点：两个研究的问题选择完全不同，一个是医生自己的问题（医生问专家的问题），一个是患者咨询医生（医患咨询）的问题，问题的完全不同。
研究者自己承认："医生可能把不同类型的问题导向不同工具"——这叫路由偏差，是真实世界评估的致命陷阱。
2.评卷医生不同：149名专科匹配 vs 12名通用评委
研究者尖锐指出："他们的评审来自单一机构，且没有将专科评委与问题主题匹配。"在现代医学里，专科细分是基石——让消化科医生评妇科内分泌问题，和让GPT自己评自己，差别可能没那么大。
3.评分方式不同：成对盲选 vs 固定标准打分
为什么这很重要？
近期研究（JudgmentBench, 2026）已经证明：在高专业领域，成对比较比固定标准评分准确得多。因为固定标准需要预设"好答案"的模板，而临床问题的复杂性往往超出模板的覆盖范围。
4.盲法程度不同：身份完全隐藏vs 可能存在暗示
盲法不是小事。如果评委能看出哪个答案是"ChatGPT风格"（比如特别自信、特别长、特别会"首先...其次..."），评分就会unconsciously偏倚。Real-POCQi甚至专门测试了"纯文本"和"文本+引用"两种模式，发现加引用后OE优势更大——因为OE的引用质量确实更高，但这也可能让评委猜到身份。
5.样本量与统计效力不同：620题/1156次比较vs 未公开细节
样本量差异意味着：Real-POCQi的结果更稳定，细分分析更可靠。比如他们能分出来"OE用户在评OE时给分略高，但非OE用户也显著偏好OE"，这种敏感性分析需要大样本支撑。
研究进一步发现：AI当评委？现在还不行！
Real-POCQi团队还做了一个"元实验"：让三个通用大模型（GPT-5.5、Claude、Gemini）去当评委，给四个系统的答案打分。
结果也很有趣：
• GPT-5.5严重"自恋"：给自己打高分，和人类专家意见负相关（Kendall's tau = -0.200）
• 三个AI都"过度自信"：打分比人类极端得多，动辄"明显更好/更差"
• 即使组成"AI陪审团"，和人类的排序依然差距很大
唯一共识：AI评委和人类专家都同意OE是最好的。但一到排第二、第三、第四名，AI就开始"各说各话"。
这意味着什么？现在用AI评估AI，在医疗领域就是"黑箱评黑箱"。如果Nature Medicine的研究用了AI辅助评分，或者评委受了AI工具使用习惯的影响，结论可靠性就要打问号。
核心争议：到底在比什么？怎么比？
两篇研究的根本分歧，其实是个本质问题：我们到底在评估"AI的医学常识的储备"，还是"AI在真实临床场景中的决策支持价值"？
没有绝对的对错，但应用场景天差地别。
如果你问"医学考试怎么备考"，通用模型可能更好；但如果你问"这个刚做完肝移植的病人发烧38.5度，要不要调整他克莫司的剂量"，专用工具的优势就凸显出来了——因为它引用的可能是最新器官移植指南，而不是训练数据里的通用医学知识。
研究者自己怎么说？
Real-POCQi团队在论文里直接点名对比："我们的结果与近期发现形成对比...他们的查询集来自企业ChatGPT实例，而我们的来自OE。医生对这两个工具的使用目的和交互方式可能不同。"翻译成人话：比的不是同一个东西，结果自然不同。
他们还抛出了一个更尖锐的问题：
"通用模型在通用AI评估框架上表现好，但在针对特定部署场景设计的评估中表现不佳；反过来，针对特定场景优化的工具可能无法泛化到其他场景。"
这就是医疗AI的根本性困境：没有"全能冠军"，只有"场景冠军"。
结论：3个需要关注的"规律"
规律一：评估场景必须匹配应用场景
用考试题测出来的冠军，不一定是临床实战的冠军。如果你的AI是给医生在问诊时用的，那就必须用真实临床问题、专科医生、决策支持视角来评估。
规律二：评委必须专业
30个专科不是摆设。让非专科医生评专科问题，或者让AI当评委，结果可能和真实临床需求南辕北辙。149名专科匹配医生 vs 12名通用评委，样本量和专业性都是碾压级的。
规律三：没有"最好"的AI，只有"最合适"的AI
通用大模型是瑞士军刀，专用工具是手术刀。如果你需要切个苹果，瑞士军刀更方便；如果你要做心脏搭桥，手术刀才是唯一选择。
根据这两个研究的结果，我们需要关注3点：
通用大模型不是万能：GPT-5.5在真实临床查询中输给专用工具，说明"大力出奇迹"在不是可以无限扩展无边界，专属医生AI工具还是大有前景的。
专科化是有护城河的：医学、法律、科研、药物发现——越专业的场景，专用工具的价值越大。
评估方法和评估设计决定结果：用错评估方法和评估方案，可能把"好工具"评成"烂工具"，或者反过来。合理设计，成对比较、专科匹配、真实场景，缺一不可。欢迎留言讨论！
苏公网安备32059002004080号
