首页 > 文章详情

2025 ELCC：AI在肺癌的应用；也看Nature发文对GenMI解读

03月28日

来源：王一树

AI在肺癌的应用，可能目前临床方面走在最前边的就是放射成像相关的了。

- 影像组学

- 人工智能模型的开发与应用

- Sybil项目与肺癌筛查

刚刚发在 Nature上的一篇 Multimodal generative AI for medical image interpretation，指出多模态生成式人工智能（GenMI）为医学影像解读和报告生成带来新机遇，同时也在临床应用中面临诸多挑战。

医学报告生成的现状与挑战

医学报告生成对患者护理至关重要，但传统方式存在诸多问题，如信息整合困难、专家短缺导致报告延误和错误等。人工智能报告生成工具虽有潜力，但现有AI解决方案多聚焦单一任务，无法进行全面综合分析，难以大幅减轻专家工作量。

GenMI技术进展

◦ 基础模型的应用：基础模型的出现推动了GenMI的发展，其基于视觉语言模型（VLMs），能融合图像和文本输入。大语言模型（LLMs）被广泛应用于医学报告生成，但存在偏见、幻觉和不准确等问题，且多基于英文开发。

◦ 多模态处理能力： VLMs可有效整合多模态数据，通过交叉注意力机制和对比学习提升报告生成质量，但目前在多模态图像输入整合方面仍不如临床医生，且多模态输出的研究较少。

◦ 提高临床准确性的方法：纳入外部知识（如知识图谱）和明确疾病分类有助于提高临床准确性，但需平衡临床准确性与自然语言相似性。

GenMI的应用拓展与实施策略

◦ 跨专业应用： GenMI在病理学、皮肤病学等领域开始应用，但模型在深度和准确性上仍有局限。

◦ AI住院医生范式：提倡采用AI住院医生范式，通过在临床环境中前瞻性测试、本地校准，辅助医生撰写报告、提供实时交互和医学教育，提高报告质量和患者护理水平。

◦ 与人类偏好对齐：通过强化学习从人类反馈和直接偏好优化等技术，使AI生成的报告符合临床医生和患者的需求，同时医生也能从AI中学习。

GenMI面临的挑战

◦ 基准和评估指标：现有的自然语言评估指标无法衡量临床准确性，新的指标虽有发展，但仍需更多研究。同时，需加强人类评估，防范模型性能变化和对抗攻击。

◦ 过度依赖问题：临床医生和患者可能过度依赖AI输出，导致忽视罕见发现和对少数群体医疗服务的不公平，需加强对依赖问题的研究和对患者的教育。

◦ 数据集和模型偏差：训练数据的偏差会导致模型偏差，影响报告、医学教育等方面，需更多代表性数据集和新的训练技术来减轻偏差。

◦ 新模态和专业领域的局限： GenMI在3D成像和部分专业领域的应用受限，获取大规模多模态数据集成本高，医疗机构可能过度追求患者数量而忽视护理质量。

GenMI有潜力减轻临床负担、改善临床护理，但需开发开放基准测试，加强临床合作和审慎的模型验证，确保安全有效地发挥其临床效用。