首页 > 文章详情

医疗领域中的人工智能：机遇与风险并存

06月20日

来源：智能肿瘤学

AI IN HEALTH: HUGE POTENTIAL, HUGE RISKS

编译自： https://www.oecd.org/ 图片来自网站和AI生成

人工智能时代已经到来，并将 持续下去

经合组织（OECD）于2019年发布了一项准则，在确定人工智能（AI）可靠开发和使用的综合政策原则方面处于了领先地位。这些准则旨在降低人工智能的一些重大风险，包括失业、加剧不公平现象、侵犯个人隐私与安全，以及不负责任地使用人工智能造成人员伤害等。在2023年的最后一个季度，多个重要事件和报告推动着人工智能的安全使用，如白宫发布的《关于安全、可靠地开发和使用人工智能的行政命令》、《G7人工智能行为准则》、布莱奇利公园举行的人工智能安全峰会、《欧盟关于人工智能发展的临时协议》、《人工智能与人类发展的关系》以及《人工智能与人类发展的关系》；此外，还有《欧盟人工智能法案临时协议》和《世界卫生组织人工智能监管指南》等。

人工智能在拯救生命、提升医务人员工作效率、卫生系统以人为本等方面具有巨大潜力

人工智能技术在医疗领域具有重要意义，有助于应对诸多严峻挑战，如人力资源短缺、未来公共卫生风险、人口老龄化以及复杂多样的慢性病带来的健康问题。然而，在充分利用这一强大工具的同时，降低其潜在风险亦至关重要。为迅速应对新兴挑战与机遇，就必须实施有效监督与管理。

不将原则转化为行动将会带来重大风险

虽然在医疗领域使用人工智能存在重大风险，但不采取行动落实商定原则也存在重大风险。这些风险包括加剧数字和健康方面的不平等、增加隐私风险、减缓科学进步以及妨碍与公众的信任。目前，世界各地的卫生机构都在设计、开发和实施人工智能，使用本地数据集进行训练，并将训练成果服务于当地居民。大多数机构都没有扩展定制的人工智能应用程序的能力或意图（例如，由于系统不兼容或缺乏技术资源），这可能会出现由富裕的卫生组织建立和维护的人工智能产生一些零散的创新，而这些创新仅为富裕公众所享用。要想从人工智能中释放出广泛而公平的价值，就必须在国内和国际层面建立强大且协调的政策、数据和技术基础。

本简报阐述了人工智能在提升医疗成效方面的重要契机，分析了在医疗领域应用人工智能所须关注的关键风险，并提出了切实可行的政策举措，旨在推动可靠的人工智能发展，尊重人权，以及改善国内外卫生状况。

这些措施将得益于共同的原则和保障措施。欧盟、美国以及全球层面的近期政策实践均印证了经合组织2019年人工智能原则的适用性。

经合组织人工智能原则为制定人工智能卫生政策提供了一个框架。

【人工智能可以挽救生命，帮助卫生工作者，并释放价值】

人工智能已经在挽救生命,而且还能挽救更多的生命 。证据表明，仅在2023年，欧洲就可能有约163000人死于医疗事故，其中30%的医疗事故是由于沟通不当造成的。人工智能是改善沟通的理想选择，它能在正确的时间、正确的环境中向正确的人提供正确的信息，从而防止错误、挽救生命并改善医疗效果。此外，人工智能还有望利用大量临床证据（如影像、病史）来协助医疗服务提供者诊断和优化对患者的治疗。如果能够安全、适当地使用，这将极大地扩展循证医学，从而提升医疗成效和以人为本的医疗服务。
人工智能可以帮助医疗专业人员提供更多的医疗时间。 人工智能可帮助医疗服务提供者践行自己的职业，将时间投入到与患者的接触中，而不是将时间花在抄写笔记和行政工作上。利用人工智能，多达36%的卫生和社会保健活动可以实现自动化。这些生产力的提高将减少整个经合组织到2030年所需的350万卫生专业人员的预计缺口。人工智能可以帮助医疗服务提供者整合前沿知识，挖掘健康数据，找到关键信号，防止患者贻误病情，提高临床前沿实践的依从性。人工智能可以提高工作质量、人际互动质量和医疗质量。
人工智能有助于保护数字医疗基础设施免受安全威胁。 针对医疗系统的网络攻击与日俱增，预计到2025年将造成高达10.5万亿美元的经济损失。网络攻击者越来越多地使用人工智能来寻找和利用漏洞。卫生系统可以借鉴其他行业使用人工智能的做法，帮助检测威胁，防止或解决卫生系统基础设施被攻破的问题。通过合作，人工智能可以帮助建立对数字工具使用的信任。
人工智能可帮助卫生部门从目前尚未用于辅助决策的97%卫生数据资产中释放价值。 医疗领域人工智能系统的设计、开发和实施得益于对高质量数据的及时获取，在确保适当保护措施到位的同时，还能利用数据做更多工作。在医疗领域，人工智能被用于检测COVID-19的早期迹象，并加速了疫苗的发现，挽救了数百万人的生命。人工智能可用于帮助开发罕见疾病的治疗方法，通过检测异常的疾病模式提高医疗系统的安全性，确定预防慢性疾病的时机，或推进个性化医疗。如果能开展跨卫生组织、跨地区和跨国界的合作，这些创新应用将更能代表人群，产生更大的影响。
人工智能在健康领域的机遇是巨大的,需要采取紧急行动来应对障碍和风险。 建立政策、数据和技术基础以便开发、实施和推广可靠安全的人工智能，这将惠及社会的方方面面。要做到这一点，就必须最大限度地减少来自隐私、安全、偏见和错误信息的潜在危害，同时为每个人带来积极的成果。需要采取积极主动的举措和战略来产生积极成果，同时实施强有力的解决方案，确保尊重隐私、不歧视和安全等关键权利。

【应对人工智能在医疗领域的风险】

有些风险必须有效应对。 人工智能的风险包括算法产生的不良结果(由于偏见、低质量数据、缺乏透明度或在不适当的情况下使用) ；个人数据泄露(由于在数据收集或执行人工智能算法时违反隐私和安全规定) ；对卫生工作者提供的解决办法使本已紧绷的工作者更加不堪重负；以及对人工智能可能出现的任何不利结果的问责制不明确。
同样，不启用人工智能也会带来风险 ，例如数字鸿沟扩大，人工智能解决方案只能提供给有限的一部分公众；行政负担不断加重，卫生专业人员持续疲惫不堪；科学进步无法产生和传播效益，改善卫生成果等等。
将风险降至零是不可能的。 人工智能行动必须考虑如何在短期、中期和长期内最好地消除或减轻危害风险。人工智能的有效实施和监督将优化数据和技术资源的利用，同时不断学习并在必要时调整计划。因此制定明确的人工智能政策原则有利于指导政策和行动。
经合组织的人工智能原则已被所有经合组织国家采纳，并反映在《G20人工智能原则》中。 这些原则为可靠且高效地研发、部署和维护人工智能解决方案提供了一套行为准则。这些原则指导人工智能的实施，将人类置于设计的中心，并明确了部署人工智能解决方案的关键要素。这些原则仅仅是一个起始点，还需要通过正确的工具和流程、政策和执行机制来落实。
有必要在医疗领域实施可靠的人工智能原则。 例如，“以人为本的价值观和公平性”原则将指导包括卫生服务提供者和公众在内的各类行动，以制定人工智能解决方案，并确保这些解决方案的公平性和适宜性，以便其他人能够合理地应用和再次应用。这将有助于降低定制的人工智能解决方案被部署到设计上并不“适合”临床实践的风险，从历史角度来看，新技术的引入可能导致医疗服务提供者的职业倦怠，而非提升医疗服务质量。

人工智能的采纳、运用及发展须受到合理管控，确保执行合规且报告透明

风险： 倘若未对人工智能解决方案的实施与发展实施监管，那么人工智能的设计、开发或实施可能对患者及医疗体系产生负面影响，而相关责任者或许能规避惩罚。此外，随着人工智能能力的不断提升，有必要构建监管、执行及补救机制，以防止其对各方造成损害，并从其带来的机遇中获益。

差距：一些国家正在积极推进人工智能监督机制的构建，然而在医疗领域有针对性地应用人工智能的国家相对较少。目前，关于卫生系统对人工智能的采纳程度、主要障碍、以及对卫生工作者和医疗疗效的益处等方面，尚缺乏明确的认识。此外，关于人工智能负面事件的频率和数量也需深入研究。为推动人工智能在医疗领域的应用，治理措施应与财政激励相结合，共同支持政策、数据和技术基础的构建。

此外，社会各界对人工智能在医疗领域应用的信任程度各异——部分人认为人工智能能助力个性化医疗的实现，而另一部分人则坚决反对人工智能技术涉足医疗卫生环节。同时，公众对人工智能在公共领域（如政府采集个人健康数据）和私人领域（如仅追求利润而不回馈社会）的发展表达了担忧。

就目前而言，医疗人工智能解决方案所引发的责任归属问题尚不明确。如同其他行业领域，当医疗人工智能解决方案导致损害时，究竟应由解决方案的开发者、购买解决方案的组织，还是应用人工智能解决方案的用户承担责任，目前尚无定论。若责任归属未能明确，可能会引发严重的个人、组织及企业风险，进而导致相关各方采取行动时产生犹豫。

人工智能的益处最大化、风险最小化的可能政策方向

在遵循可信赖人工智能核心政策原则的基础上，加强国内与国际监管，推动医疗领域人工智能发展，同时充分利用和促进人工智能所需的政策、数据及技术基础，以促进公平、道德、人本、透明与问责制的发展。
构建国家级及跨国度量标准，并公开发布医疗领域应用人工智能的进展、效益及潜在风险的报告。
为公共和私营部门开发、实施和发展医疗领域的人工智能解决方案确定要求和责任。

人工智能协助卫生工作者提升工作效率的能力

风险: 鉴于人工智能在医疗领域的应用，部分岗位的职能将发生转变，从而可能导致部分职位不再必要，或者对从业者的技能要求发生重大变化。据估计，高达27%的工作岗位面临高度自动化风险。这些工作岗位并不会彻底消失，但其任务范畴将发生显著改变。尽管在人工智能刚应用于医疗领域时，这一现象引发了一定的担忧，但近期研究已开始探索如何利用人工智能作为辅助工具，以提高医疗卫生专业人员的工作效率。研究再次证明，人类与人工智能协同工作的效果优于人类或人工智能单独工作的效果。

差距: 许多卫生专业人士尚未充分掌握相关技能，难以理解人工智能工具在实际应用中对于节省时间与提升疗效的积极作用。同时，在医疗领域的人工智能工具开发过程中，往往未能充分考虑卫生专业人员的参与，由此诞生的解决方案可能加剧工作负担，从而引发职业倦怠。卫生专业人员往往具有风险规避特质。因此，在引入人工智能的过程中，需充分考虑卫生专业人员的需求，尊重其职业操守，解决他们的担忧，并激发他们采用人工智能技术的积极性，提升其技能水平。

人工智能的益处最大化、风险最小化的可能政策方向

针对医疗与信息技术领域专业人员，进行人工智能应用方面的培训与能力提升，以优化人力资源配置、提升技能水平及培育创新文化，从而更有成效地利用人工智能技术，为高质量医疗服务创造更多时间。
在整个人工智能生命周期(设计、开发、实施、运行和演进)内，制定要求，让医疗专业人员参与人工智能解决方案的创建。
制定计划，推动在临床实践中积极采用经授权的人工智能技术，并确保其可靠地应用，同时通过权威途径认定优质的人工智能解决方案。

医疗人工智能解决方案的设计应便于广泛使用

风险: 在推进医疗人工智能应用的过程中，需关注潜在的不公平现象。人工智能所带来的益处可能仅针对特定群体，从而引发利益分配不均的问题。这种不平等可能与民族文化、性别差异、收入水平和地区因素等相关。另外，开发无法拓展的定制化人工智能解决方案将导致重复劳动和技术基础设施的浪费，进一步加剧公共资源的稀缺性。

差距: 在卫生领域中，针对人工智能解决方案的实施范围及其影响规模，目前尚缺乏系统性的评估标准，特别是在按性别、应予以平等关注的群体或地域划分的人口层面上的益处。因此，政策制定者难以全面了解人工智能所带来的益处如何作用于各类人群。

数字医疗的初期投资导致卫生部门在政策、数据和技术层面呈现出严重的分散状态，这种状况使得人工智能解决方案在国内和国际范围内的推广面临巨大挑战。这种分散特性对人工智能解决方案的公平应用产生了负面影响，同时制约了跨组织创新能力的利用，可能导致重复性工作，从而降低其影响力。

长远来看，个体若能获取其个人健康数据，并运用经过认证的人工智能技术，将能有效提升自身健康状况。然而，若数据和技术基础无法与人工智能解决方案实现互操作，上述优势将受到严重影响。

人工智能的益处最大化、风险最小化的可能政策方向

为人工智能的可用性、应用及对健康影响制定评估准则（如人工智能与个人健康档案整合），并对不同地域、性别及其他关联群体的评估结果进行深入分析。
统一政策、数据和技术规范，与经合组织理事会关于健康数据治理的指导原则保持一致。在国内（适当时涵盖跨国界）实现人工智能技术在人群、临床及个人层面的应用规模扩大，以应对各类挑战。

人工智能训练数据具有代表性，解决方案透明且可解释

风险: 人工智能依赖大量数据以挖掘模式并作出预测。然而，若所应用的数据无法充分代表目标受众或数据质量较低，人工智能可能产生偏差，导致不良、有害或歧视性结果（如：在仅依据男性数据训练后，将其应用于女性群体）。另外，部分人工智能解决方案可能具有较低透明度或难以解释，从而引发对建议的信任危机，致使相关措施被忽视。

差距: 人工智能的实施原则侧重于确保解决方案的透明度和可解释性。为实现这一目标，各国及国际层面需加强指导和协调，明确在医疗卫生领域应用的人工智能系统需提供诸如训练数据等必要信息，以获取包括医疗服务提供者和公众在内的利益相关方的信任。指导原则应进一步拓展至“可靠人工智能”医疗解决方案的评估标准。一致性和实用性在有效监管敏感个人健康数据使用和最大限度减少偏差方面至关重要。在适当时机，评估标准应涵盖人工智能解决方案在健康领域是否提供合格的临床指导。

预计至2030年，全球人工智能医疗市场将实现约16倍的增长，自2021年的110亿美元增至1880亿美元。然而，此种增长主要是在缺乏监管或监督的情况下实现的。为确保公众利益及建立信任，在必要时，借鉴卫生技术评估或药物审批流程，对医疗领域人工智能解决方案实施认证和监管，显得至关重要。

人工智能的益处最大化、风险最小化的可能政策方向

制定“可靠人工智能”解决方案的标准指南，涉及透明度、可解释性与临床适用性。
制定医疗领域人工智能解决方案的认证和监管方法。

人工智能解决方案在改善健康状况的同时应保护个人数据

风险: 在开发与部署人工智能解决方案过程中，若大量运用详尽的个人健康数据，可能导致隐私权益受到侵犯。同时，人工智能所依赖的大量数据亦是网络攻击的重点目标。

差距 :开发人工智能解决方案时，务必将潜在危害降至最低。数据的使用、滥用及不使用皆可能导致负面影响，例如侵犯隐私、歧视现象或无法为个体提供有效医疗。在人工智能时代，隐私与安全综合策略应认识到，卫生系统若要改善个人健康状况、维护公共健康并确保全体民众公平受益，隐私风险势必存在。

大多数国家已通过立法手段对个人健康信息保护予以规范。然而，在人工智能时代，立法的实际应用与健康领域中开发人工智能解决方案的实践者之间存在矛盾。特别是在追求零隐私泄露风险的激励机制下，可能导致以牺牲潜在积极健康成果为代价。尽管其他创新技术，如隐私增强技术，能够在保护个人健康信息的同时，促进人工智能的公益性，但为确保人工智能解决方案的价值，隐私风险程度仍需控制在合理范围内。

人工智能的益处最大化、风险最小化的可能政策方向

依据经合组织理事会关于健康数据治理的指导意见，对人工智能领域的“行为准则”进行现代化整合，以应对人工智能带来的潜在风险，涵盖数据使用与不使用方面的考量。
通过执行“行为守则”并实施遏制措施（如对未经授权的再识别行为进行惩戒），为公众提供有力保障，同时促进有益的人工智能技术发展。
加强跨界和跨行业合作，增强卫生领域抵御网络攻击的能力。

将人工智能原则落实到医疗政策和实践中

当子孙后代回顾2020年代时，他们可能会问，为何当时社会未能更果断、更全面地运用丰富多样的资源——健康数据，以挽救和提升生命。随着数据保护措施的日益普及，无所作为所带来的负面影响愈发显著。此外，在健康领域运用人工智能以及共同应对个人数据隐私和安全风险，以改善公共卫生成果，同样至关重要。

国际社会已就人工智能原则达成充分共识，以指导制定可靠的人工智能卫生政策。在制定此类政策时，至关重要的一点是，最大限度地提升政策的跨领域互操作性，借鉴其他部门的成功经验，并促使各部门政策保持一致，以支持有益解决方案的推广以及统一的监管和执行方式。现阶段是将原则和行为规范付诸实践，落实至人工智能卫生政策和实践中的重要时刻。

针对人工智能在健康领域的应用，有必要实施跨境和跨行业的协调策略，充分发挥其优势，同时减少潜在风险。为实现统一政策和优化人工智能立法，应制定统一规范，例如针对个人健康数据及其匿名化的管理，以保护个人隐私，并将这些受保护的数据应用于罕见疾病研究或公共卫生事件的监测。跨行业协调还将有助于更全面地揭示健康与环境、金融及社会计划等方面的相互影响。

必须采取紧急行动。要实现并维持人工智能在医疗领域的益处，需要投入时间、领导力、意愿、努力和资金。政策制定者应积极指导人工智能在卫生系统中的发展，确保其在尊重权益的前提下，产生有益的公平医疗成果。否则，支离破碎的人工智能解决方案可能日趋根深蒂固，从而导致不公平、成本高昂和效益不佳的结果。

经合组织可以帮助各国和各地区在三个领域采取集体行动。

对人工智能在健康领域的影响进行评估和量化，揭示可靠的人工智能如何挽救生命，以及如何公平、有尊严地对待个人。
倡导各国制定与实施卫生政策及行为规范，消除对可靠人工智能的不必要限制，同时确保建立恰当的风险评估机制、缓解措施及监管体系，学习各国优秀实践经验。
制定医疗领域人工智能政策发展的参考标准，推动知识共享，追踪人工智能相关事件及良好实践，实现共同学习与问题解决。这将有助于协同学习、协同应对，并协调实现互惠共赢的目标。

经合组织在推进医疗与人工智能等领域相互学习方面具备独特优势。其在医疗及关键行业方面拥有深厚见解，能够为推动医疗领域的人工智能应用提供有力支持。经合组织已在全面关注政府解决方案背景下，推动针对健康的具体行动。目前，经合组织正密切关注与健康相关的人工智能事件，整理相关工具清单，并监测国际上人工智能相关政策对医疗领域的影响。凭借其在知识体系、会议召集和专业合作等方面的优势，经合组织在制定政策指导和工具包方面具备可靠地位，为实现长期成功奠定了坚实基础。

此外，经合组织积极与重要国际合作伙伴（如世界卫生组织、世界银行和全球数字健康伙伴关系）携手合作，为推动全球数字健康倡议贡献力量，助力实现联合国可持续发展目标。

【原文】

AI-in-health-huge-potential-huge-risks.pdf (oecd.org)

来源｜患者安全

责任编辑：肿瘤资讯-Astrid
排版编辑：肿瘤资讯-Astrid

免责声明

本文仅供专业人士参看，文中内容仅代表智能肿瘤学立场与观点，不代表肿瘤资讯平台意见，且肿瘤资讯并不承担任何连带责任。若有任何侵权问题，请联系删除

06月27日

徐燃

如东县人民医院 | 肿瘤内科

国内有医学人工智能工具吗？

06月21日

苗军程

金乡县人民医院 | 肿瘤内科

医疗领域中的人工智能：机遇与风险并存

06月21日

苗军程

金乡县人民医院 | 肿瘤内科

医疗领域中的人工智能：机遇与风险并存