预测模型可移植性，传统上定义为“在来自不同但似乎相关的人群的患者中产生准确预测的能力”。1，正受到越来越多的关注，因为医疗保健组织试图实现基于人工智能(AI)的预测工具2，3.，4．尽管一些基于机器学习(ML)的模型在跨机构和患者群体进行回顾性验证时失败5，技术改进(例如，基础模型)显示了解决该模型有效性问题的希望。为了解决工程上的挑战，出现了一个称为MLOps的技术子领域，它承诺通过在ML模型的开发、集成、部署、监视、迭代和治理中注入所需的规程来解决技术可移植性6，7．这些开发解决方案为在新环境中部署为本地化应用程序开发的模型打开了大门，从而实现了AI的可伸缩性承诺。

mlop对技术可移植性的关注可能掩盖了社会技术可移植性的一组更大的障碍:跨环境(无论是机构、团队还是个人角色)大规模部署模型的组织、社会和个人挑战8．在医疗保健领域，这一挑战可能尤其严重，因为电子医疗记录系统尚未以业务流程技术在其他行业实现标准化核心流程的方式对工作流和实践进行标准化。社会技术系统的变化会影响我们所说的模型有效性，也就是模型在实践中的工作效果。模型有效性的挑战经常出现在模型跨机构和实施设置转移时。有效性受到的关注远远少于模型有效性的挑战。

“疗效差距”9指的是由于机构和实践之间的差异，临床试验中的药物疗效往往不能在现实环境中复制。基于三年的多方法研究(民族志、访谈和调查)，在一个多医院医疗保健系统的临床实践中全面和部分实施诊断和预后预测模型，我们看到基于ml的预测模型转移出现了类似的有效性差距。为了开发可推广的见解，我们研究了跨部门(如放射科、医学、儿科)、角色(如医生、护士)和条件(如COVID-19不良事件、败血症、临床恶化、乳腺癌筛查乳房x光片)实施的模型。我们将分解模型可移植性，并回顾可移植性在机构、提供者、护理团队和角色的交叉处引入的社会技术挑战。然后，我们就如何应对这些挑战提供指导。

挑战

除了培训和部署人群之间的差异之外，将基于ml的模型转移到一个新的机构还带来了在多个级别上有效使用的挑战。

跨单位、组织或系统的制度挑战

当模式在不同机构之间转移时，许多结构、文化和激励因素会重塑它们的表现、接受和使用。

创新和/或风险文化

对于大多数医疗保健人员来说，ML模型是一种相对较新的技术，因此不太注重创新的组织文化可能会阻碍模型的采用10．人们对创新战略和文化的结构性障碍了解较少。工会合同或法律和监管制度可能将使用模型的责任限制到某些提供者，如医生11．如果机构的提供者是100%的临床人员或具有高度警觉疲劳，那么其试验新技术的带宽可能较低，而针对AI模型的临床工作人员的专业培训可能因机构而异11．

机构模式所有者

研究表明，在单一的局部应用中，模型的信任和使用依赖于用户对模型开发的参与，以及使模型合法化的临床冠军的社会资本10，12．然而，社会资本通常是本地的，不会跨机构转移，当临床冠军离开一个组织时，它会迅速退化，危及对模型的信任。专门的预测分析单元可以开发、测试、赢得支持和实施模型，但这种单元需要足够的规模，这使得它们对小型医院来说不切实际。大型医院网络可能是竖井式的，从而降低了在整个系统中采用集中开发的创新的可能性。

成本vs收益

领导层对基于ml的模型的采用的接受程度取决于模型与组织的战略、业务模型和护理传递路径的一致程度11．医疗机构面临着在降低成本的同时保持高质量医疗的压力。使用模型节省成本的可靠证据往往是模棱两可的，不可获得的或不可推广的。在不同的医疗保健系统中，监管和报销也可能有所不同。例如，在英国，乳房超声图由两名放射科医生检查，而在美国，通常由一名放射科医生检查。因此，在英国，模型可以通过替代人类的“第二意见”来节省成本，但在美国却不行。

用例

随着模型在机构间的转移，它们的使用可能会发生变化。例如，一种通过3D乳房x光片识别低风险患者的工具可能被一家机构的放射学家用于筛查乳腺癌，但另一家机构可能将其用于分诊或对放射学家审查的图像队列进行排序。由于成本和报销问题，美国食品和药物管理局批准的商业工具可能与“国产”工具使用不同。这些模型的角色、职责、漏洞和需求在这些用例中是不同的。

监管的可解释性/可解释性要求

不同的法域对模型的可解释性提出了不同的要求。这就提出了将基于ml的黑箱模型转移到解释性要求更严格的机构的挑战。

知识共享

电子健康记录供应商举行会议，让供应商和数据科学家分享他们使用本地开发的模型(例如Epic的XGM和UGM)的经验。报告没有标准化，而是作为关于医院实践的自由形式的轶事，这是一种非常低效的沟通途径，没有解决结构、工作流程和实践的跨机构普遍性问题。

医疗团队，组成和设计

从机构到医疗保健团队，模型可移植性涉及到额外的挑战。在大多数情况下，一个医疗团队共同负责病人的护理。预测模型的一个鲜为人知的价值是，它们作为团队协调和跨角色信息共享的可能机制13．模型以不同的方式与多个相互依赖的团队角色相关的事实可能会阻碍可移植性，特别是当采用模型的团队与原始团队配置不同时。例如，我们开发了一个Covid - 19不良事件模型，并将其“所有权”分配给一个临床警报护士团队，他们定期巡视病区并监测高危患者。临床警报团队促进了床边护士、主治医生、呼吸治疗师和其他角色之间的协调。该团队使用该模型对患者进行优先排序，帮助确定那些可以从早期转移到重症监护室受益的人，并与护士合作制定积极的护理策略。将该模型转移到没有临床警报团队的环境中，需要在接收团队中重新映射工作流程，并将与解释、监控和根据模型采取行动相关的责任分配给其他角色的提供者。

团队结果焦点

当为个体决策者开发的模型转移到团队级别时，模型预测的结果可能会发生变化。医疗保健领域的许多模型预测的是干预措施(例如，败血症情况下的复苏)，而不是下游健康结果(见参考文献)。14，15)。如果预测干预的模型被转移到具有不同干预实践的组织，它可能无法被验证。在这种情况下，确定问题是模型还是接收团队的工作流是至关重要的。在一个极端的例子中，将为一个败血症发生率低的机构定制的模型转移到另一个没有这些工作流的机构，该模型反映了识别和干预的有效工作流程，可能不会实现相同的结果。

个别供应商

ML模型为个体决策者提供了建议，因此必须考虑个体提供者及其模型使用的差异。

专业知识和专业化

同一职业的提供者在专业知识和专门化方面各不相同。这些因素影响了他们的思维方式。例如，一个没有经验的住院医生可能对一种疾病的心理模型没有那么细致入微。预测工具可以帮助临床医生建立一个心理模型，将注意力集中到最重要的特征上，并帮助他们将这些特征转化为结果概率。有经验的提供者可以从识别偏离规范的案例的模型中受益，从而减少他们的迷信学习16从经验，并使他们更新以前的例行公事。此外，专家可能会对更高频率的模型建议感到厌烦，而新手可能会欣赏它。提供者专门化可能会影响模型建议的价值。例如，乳腺放射科医生从乳腺超声图像模型建议中获得的价值可能低于普通放射科医生，后者阅读各种不同的扫描结果，对任何一种扫描类型的心理模型的区别较小。

建议采取

不同的职业使用相同的建议来满足不同的需求。例如，医生接受的训练是做预测，而护士通常接受的训练是对病人的情况作出反应。护士可能需要改变这种取向，以理解和利用预测性建议。单位领导可能关心集体结果，如平均住院时间，临床警报团队寻找更密切监测的患者。因此，转移模型可能在不同于它们被开发的职业环境中不太有用。

前进

克服模型可移植性的挑战需要在模型设计、实现和使用的所有阶段将上下文差异的考虑充分集成到mlop中。尽管技术可以有效标准化，实现互操作性，但社会技术系统的复杂性和多样性需要更模块化和更灵活的方法。这可以通过扩展和标准化所传输的内容来实现，从而在模型传输过程中实现转换和灵活性。成功的度量标准是为决策者和用户提供必要的信息，以推断部署的模型在他们的本地环境中是否成功。大多数模型部署描述没有提供关于模型范围和限制、实现计划、工作流集成、角色和责任以及环境的足够详细信息，从而使潜在用户能够有效地评估可移植性。下面我们将讨论在内容和过程方面需要什么来改进模型实现。

内容

为了使模型更加模块化，必须转移许多组件，使新用户能够协调医疗保健机构、团队和个人提供者之间的差异。首先，用户必须了解模型的范围和限制。一个“模型事实”标签应该伴随着被转移的模型，该标签旨在通过更大的透明度促进模型跨地点、用例和上下文的转移。理想情况下，模型事实应该包括关于模型的预期目标或健康结果、输出、目标人群、预测时间、输入数据源和类型、训练数据位置和时间段以及模型类型的信息，以及重要的实现信息，如应用领域、方向和警告(例如参考资料)。17，18，19)。此外，应移交制定完整、规范的实施方案。这些措施至少应包括培训材料、通知途径和衡量和分析业绩的系统。与模型的使用和输出相关的提供者的角色和责任必须以一种可推广的方式传达给从业者，指的是工作职能，而不是特定于机构的职位。例如，当将在一个临床警报护士团队积极优先考虑高危患者的护理环境中开发的模型转移到一个没有临床警报团队的环境中时，必须设计一个新的工作流来处理由模型和指定的新模型“所有者”创建的警报。此外，环境的细节也是至关重要的。例如，应该报告部署模型的医院的败血症率。在一开始脓毒症发病率高的机构成功部署的脓毒症预测模型可能无法转移到一个脓毒症发病率已经很低的机构。相反，在保持其他因素不变的情况下，如果遵循原始机构的实施计划，在创建模型的机构中，败血症的低先验率可能会有希望将社会技术最佳实践与模型一起转移。同样地，阐明团队成员对模型预测和建议的反应所要采取的具体行动，增加了理想的模型结果在新的环境中被复制的可能性。

为了支持业务模型决策，模型的财务影响的证据应该伴随着它的医疗保健结果的证据，包括实现成本、长期成本节约和任何创收机会。

过程

模型转移需要一个社会技术模型本地化过程来支持购买，这需要灵活性。设计与模型实现相关的工作流应该包括工具输出的设计(例如，给定某个预测何时触发警报以及触发什么警报)和给定某个警报提供者需要做什么之间的并行迭代。理想情况下，模型本地化是由临床冠军领导的，或者是大量参与的，他们在实施过程中投入他们的社会资本并建立信任。将战略领军企业和金融领军企业联合起来也可能是有价值的。

为了支持灵活性，组织的医疗信息团队应与临床领导协商，为预期用户进行个性化设置。它应该考虑到特定于角色的信息，包括所需的可解释性和可解释性水平。定制应该由用户完成，基于他们对呈现给他们的信息的类型、时间、位置和细节级别的偏好。在专门的分析或信息部门存在的地方，也可以为团队和机构定制。

最后，实践社区可以发挥重要作用，通过组织内部和组织间的社会和信息网络增强和支持地方冠军的出现。社区规范可以规范显性知识的共享，但也应该促进共享隐性信息的个人外联，使社会技术模型转移更普遍，并可能更成功。