前沿分享 | Nature Communications：基于LLMs的多模态AI模型在放疗靶区勾画中的应用研究

03月30日

来源：智能肿瘤学

近期，Nature Communications刊登了一篇题为“LLM-driven multimodal target volume contouring in radiation oncology”的研究。这篇文章介绍了一种基于大语言模型（LLMs）的多模态人工智能（AI）模型——LLMSeg，用于放射治疗中的临床靶体积（CTV）轮廓勾画任务。与传统的器官分割任务相比，放射治疗中的靶区勾画更具挑战性，因为它需要结合图像和临床文本信息。LLMSeg通过整合临床信息和图像数据，实现了对三维靶区的精准勾画。研究者们在乳腺癌（BC）放疗背景下验证了LLMSeg的性能，特别是在数据不足的环境中，显示出其在泛化能力和效率方面的优势。该文章表明多模态AI在医学数据处理中的应用潜力巨大，尤其是在需要综合多种数据类型进行决策的临床应用领域。LLMSeg为放射肿瘤学中靶区勾画提供了一种新的方法，有望服务于精准个体化治疗。

研究背景和目的

在AI迅速发展的背景下，医疗数据处理领域仍存在明显差距。以往AI模型多专注于单模态数据，而医生的决策往往依赖于多模态数据的融合。放射肿瘤学中靶区勾画任务不仅需要对图像进行分割，还需要整合大量的临床信息，如肿瘤分期、病理诊断和基因突变等。传统的AI模型主要关注单一数据模态，无法充分整合多模态信息，导致在CTV勾画中存在局限性。因此，该文章提出了一个基于LLMs的多模态AI模型——LLMSeg，旨在通过结合图像和文本信息，提高靶区勾画的准确性和泛化能力，以更好地支持放射治疗的个性化治疗计划制定。

研究方法和数据集

研究方法（见图1）：

该研究开发的LLMSeg模型通过交互式对齐框架，使用自注意力和交叉注意力机制，将文本信息与图像特征相结合，以实现对放射治疗靶区的精准勾画。具体来说，模型通过提示调优技术，将临床文本信息输入到LLMs中，然后将生成的文本特征与图像编码器的特征进行交互对齐，最终通过多模态解码器输出CTV勾画结果。

图1 LLMSeg框架示意图

数据集：

使用来自3个医疗机构的大规模数据集进行模型的开发和外部验证。
从Yonsei癌症中心放射肿瘤科收集了981名BC患者的数据，用于模型的开发和内部验证。为了更好地模拟实际临床应用，研究者们还从Yongin Severance医院放射肿瘤科和Gangnam Severance医院放射肿瘤科分别收集了206名和204名BC患者的数据进行外部验证。此外，为了评估模型在其他癌症类型中的应用，收集了来自Yonsei癌症中心和Yongin Severance医院的943名和141名前列腺癌（PCa）患者的数据。

主要研究结果与结论

模型的临床靶区描绘性能：

LLMSeg在内部验证中表现出与单模态视觉模型相当的性能，但在外部验证中，LLMSeg显著优于单模态模型。除此之外，它能够根据提供的临床信息准确勾画出需要治疗的区域，包括乳腺和区域淋巴结。与其他多种仅视觉和多模态方法比较，LLMSeg在各种验证设置的所有评估指标中表现出最优性能；

专家的性能评估揭示了模型的优越性：

由放射肿瘤学专家根据5个评价标准（侧别、手术方式、体积、覆盖范围、完整性）评估，LLMSeg比仅视觉的单模态模型有更显著的优势（见表1）；

表1 BC患者CTV圈定效果的专家评价

模型的数据效率和鲁棒性：

在逐步减少训练数据集大小时，即使只有40%的数据可用，LLMSeg仍能保持稳定性能（Dice>0.8），而仅视觉模型性能下降明显。在20%训练数据时，LLMSeg性能略低于0.8，仅视觉模型在有限数据集下完全无法描绘CTV（见图2a）。在外部验证中这种性能差距更明显，仅视觉模型存在过拟合问题，而多模态模型在使用小于40%的数据集训练时仍能实现稳健性能（见图2b）；

图2 基于不同大小训练数据集的目标轮廓性能比较

探索其他类型癌症：

该研究进一步评估了PCa患者的多模态靶体积同步治疗。与BC研究类似，研究人员观察到LLMSeg优于仅视觉方法，通过所有验证设置，Dice度量的显著性能增益高达0.05（见表2）。

表2 PCa患者三维CTV成像性能比较

研究的创新和局限性

该研究提出的创新多模态融合方法突破了传统单模态AI在放射治疗靶区勾画中的局限性，能够更准确地理解和利用临床信息与图像特征之间的关联。此外，LLMSeg采用交互式对齐机制，进一步提升了靶区勾画的精度和个性化水平。研究还展示了LLMSeg良好的数据效率和泛化能力，为医学影像分析和临床应用提供了新的思路和方法；

尽管LLMSeg在乳腺癌和前列腺癌的靶区勾画中表现出色，但其主要针对初始诊断阶段的患者进行验证，限制了模型在其他癌症类型和治疗阶段的适用性。此外，模型未考虑放射治疗剂量信息，而剂量是影响治疗计划和靶区勾画的重要因素。同时，LLMSeg依赖于经过精炼的临床数据，而非原始数据，这增加了数据预处理的工作量，并限制了模型处理原始数据的能力。最后，作为AI模型，LLMSeg的黑箱特性可能影响临床医生对其输出结果的理解和信任，未来研究需要提高模型的可解释性，以促进其在临床实践中的应用。

文献来源

Oh,Y. , Park,S. , Byun,H.K. , Cho,Y. , Lee,I.J. , Kim,J.S. ,& Ye , J.C.(2024).LLM-driven multimodal target volume contouring in radiation oncology.Nature Communications,15(1),.

责任编辑：肿瘤资讯-DLF
排版编辑：肿瘤资讯-Z Y

本文仅供专业人士参看，文中内容仅代表智能肿瘤学立场与观点，不代表肿瘤资讯平台意见，且肿瘤资讯并不承担任何连带责任。若有任何侵权问题，请联系删除。