自适应AI与XR相遇:Lucid Reality Labs和Unity如何重新定义实践医学培训

Dec 12, 2025|6 最低
戴着VR眼镜的外科医生
概述

Lucid Reality Labs 如何通过无风险的沉浸式模拟和自适应 AI 辅导来扩展专家主导的高保真医疗培训。

解决方案

在实时沉浸式环境中进行 AI 指导的插管培训。Unity 产品:Unity 引擎、Unity 资产管理器。

用例

多场景自适应 XR 培训和沉浸式学习,医疗 AI 代理,麻醉学和插管模拟。

客户

Lucid Reality Labs(Unity 行业合作伙伴)。

公司概况。视频由 Lucid Reality Labs 提供。

赋能技术驱动的教育,提高患者结果:Unity 案例研究

结合自适应 AI 辅导和沉浸式模拟,帮助练习高风险程序。

Lucid Reality Labs 是扩展现实(XR)和 AI 企业解决方案的领导者,长期以来是 Unity 合作伙伴,专注于数字双胞胎、沉浸式培训和模拟、性能提升、空间产品激活和代理 AI。

该公司是 Unity 合作伙伴计划 的一部分,创建高保真的沉浸式内容,提高学习效率,加快流程,并促进在机器人、医疗、制造和教育等高风险领域的数据驱动决策。其使命是降低风险,提高员工能力,优化复杂操作,同时为客户提供可量化的增长、提高效率和改善精度——所有这些都在产生显著的人本影响的同时。

Lucid Reality Labs 与领先组织合作,通过基于 Unity 的智能沉浸式 XR 解决方案解决实际操作挑战。采用以业务为先的策略,该公司将每个客户的工作流程和 KPI 与 Unity 的能力相连接,生产可扩展的、平台无关的应用程序,使团队能够在任何地方练习、学习和工作。

实践中的证明:影响一览

将沉浸式环境的精确性与自适应 AI 指导相结合,更好地为麻醉师应对现实世界的挑战做好准备。这种方法在建立临床信心和程序准备方面显示出了可衡量的好处。

Lucid Reality Labs 解决方案的关键结果包括:

  • 来自 18 个国家的 437 名参与者 完成了 491 个插管场景。
  • 71% 的临床医生 评价模拟器 对教学有用,并且 65% 表达了将其用于 持续培训 的兴趣。
  • 参与者报告说,他们的程序理解能力增强,肌肉记忆更强,并且在随后的会话中表现 更快
  • 实时自适应反馈 使得更快的错误纠正和更短的学习曲线成为可能,从而提高了技能留存率。
  • 该系统的 可扩展、可重复的框架 确保了跨机构和地区的一致、高质量的培训体验。

他们为美敦力开发的 XR 插管模拟解决方案,集成了 AI 医疗代理,并由 Unity 提供支持,因在 AI 和沉浸式技术方面的创新而获得了 Auggie 奖Webby 奖Telly 奖 的认可。这一成功强化了沉浸式、AI 支持教育在推动医疗技能发展和改善患者结果方面的价值。

发表在 英国麻醉学杂志 的一项国际研究验证了这种沉浸式、AI 支持培训的影响,显示出在程序理解、肌肉记忆和整体表现方面的显著改善。

作为对其影响的进一步认可,该解决方案最近在 2025 年 10 月的 Galaxy XR 发布活动 中被三星作为变革性医疗解决方案展示。由教授 Dr. Patrick Schoettker 现场展示,证明了 Unity 的实时平台如何在下一代安卓 XR 设备上实现企业级 XR 培训。赋能技术驱动的教育,改善患者结果:

对可扩展、数据驱动的医疗培训的迫切需求视频由 Lucid Reality Labs 提供。

到 2030 年,全球将面临 1000 万名健康工作者的短缺

AI 和 XR 技术可以通过缩小培训差距、扩大专家指导的获取、增强患者安全性和扩大临床技能发展来帮助弥补这一差距。麻醉培训要求精确、适应性强和完美的执行。

然而,传统模型面临着专家教师的有限接触、对物理模拟实验室的依赖以及让学习者接触复杂或罕见患者场景的困难等持续障碍。这些限制阻碍了可扩展性,降低了一致性,并影响了对现实世界应用的准备。

研究表明,即使是经验丰富的临床医生也需要持续的实践,以保持信心并在不同的患者特征和设备设置中完善决策能力。这表明需要一个灵活的数据驱动培训系统,能够实现可扩展的高保真模拟,并在安全、受控的环境中提供个性化反馈。

通过自适应人工智能和扩展现实转变插管培训


虚拟外科医生在手术室中

临床培训的虚拟手术室(OR)内的医疗人工智能代理。图片由Lucid Reality Labs提供。

由Lucid Reality Labs为美敦力构建的人工智能赋能沉浸式插管培训,基于Unity开发,并与洛桑大学医院(CHUV)和Patrick Schoettker教授合作。麻醉学主任。这种医疗培训通过自适应人工智能辅导和沉浸式XR模拟重新定义了专家主导的教育。

该体验重现了未来高保真手术室,使临床医生能够在人工智能驱动的数字双胞胎Dr. Schoettker的指导下安全地练习复杂的插管程序。Schoettker。人工智能导师提供实时反馈、临床理由和与医疗协议一致的逐步指导。

学习者在不同的患者特征和难度级别中进步。该系统测量精确度、时机和决策能力,提供反馈和建议以促进个人技能发展。

作为一个无风险的实践学习环境,它允许临床医生在医院、大学或远程学习地点随时随地进行培训,同时确保持续更新以反映医疗标准和相关专家知识。

该培训系统使用Unity的XR框架和交互工具包,以实现跨平台的一致性、模块化和高保真的实时模拟。在此基础上,Lucid Reality Labs的专有iXR™平台与Unity协同工作,集成多角色协作、分析和安全内容管理于一个统一的生态系统中,结合了临床精确性与企业可扩展性。

虚拟外科医生在手术室中

用于临床培训的虚拟手术室(OR)。图片由Lucid Reality Labs提供。

使用Unity制作:技术方法和构建

Unity是模拟的核心,通过Unity XR框架、XR交互工具包和Lucid Reality Labs的专有iXR™平台增强。这种组合为模块化设计、多角色模拟、强大的分析和无缝内容交付创造了灵活的基础。iXR™平台引入了数据驱动的洞察、适应性学习场景和精确的性能跟踪,这对于医疗级模拟至关重要,扩展了Unity的能力。

  • 为规模和一致性构建的DevOps:一个安全的持续集成/持续部署CI/CD管道)构成了可扩展性和可靠性的基础。开发和QA团队在一个统一的DevOps环境中工作,具有自动化测试、版本控制和简化的部署。每个构建在支持的XR设备上经过验证,停机时间最小,能够快速迭代,减少人工干预,并确保高风险临床培训的稳定、版本控制更新。
  • 设备无关的架构:在Unity中使用OpenXR插件开发,模拟在设计上是硬件无关的。无论是在手部追踪、基于控制器的耳机还是眼动追踪设备上运行,体验始终保持一致和直观 - 允许在全球医院、大学和培训中心进行部署,而不受XR硬件的限制。
  • 性能、可靠性和真实感:为了满足临床培训的精确要求,团队实施了自适应渲染、延迟优化和深度性能分析。结果是平滑的临床级帧率与响应式仪器交互,支持来自iXR™平台的遥测,以便于持续改进和实时反馈循环。
数字双胞胎手术室

基于Unity的数字双胞胎手术室的过程。图片由Lucid Reality Labs提供。

为什么选择 Unity?

Lucid Reality Labs选择了Unity,因为它在实时性能、跨平台可扩展性和行业最全面的XR开发生态系统方面表现出色。

驱动解决方案的核心Unity技术包括:

  • Unity XR管理与OpenXR Plugin - 通过统一的接口为多硬件部署提供一致的跨设备性能。
  • XR Interaction Toolkit - 提供直观、物理准确的与仪器和患者的交互,对于程序的真实感至关重要。
  • Universal Render Pipeline (URP) - 在高保真视觉输出与独立头显的优化性能之间取得平衡。
  • Unity批处理模式用于CI/CD - 自动化测试和构建管道,提高交付速度和应用程序稳定性。
  • 性能分析工具 - 使深度优化成为可能,确保临床级帧率和持续可靠性。

Unity的成功得益于其对众多插件和SDK的广泛支持:OpenXR让我们可以从一个代码库针对多个头显,URP满足了我们在独立VR上的性能目标,而批处理模式CI/CD保持了构建和测试的自动化。

Stas Horodnianskyi
Stas Horodnianskyi - Lucid Reality Labs
Senior Unity Developer and Technology Lead
数字双胞胎手术室

在Unity中构建的高保真数字双胞胎手术室(OR),用于沉浸式医学培训和临床模拟。图片由Lucid Reality Labs提供。

设计到部署的过程:从原型到临床级XR培训

1.以临床医生为中心的设计:为临床医生而建与临床医生共同构建,该模拟围绕真实的医疗工作流程和培训需求进行塑造。每个设计阶段都专注于真实感,反映程序流程、安全标准和临床决策点,以将成功指标与真实手术室结果对齐。

2.原型和测试:早期的Unity原型被创建以验证交互模型、AI导师逻辑和用户体验流程。与麻醉师和临床教育者的迭代测试提供了持续反馈,精炼了真实感、可用性和教学准确性,以满足教育和操作的期望。

3.内容与分析集成:程序场景、工具和绩效指标与学习目标并行开发。分析管道早期嵌入使用iXR™,实现实时数据捕获、可测量的进度跟踪和培训会话的持续改进。

4.优化和试点:该体验在XR设备上进行了性能调优,并与主题专家进行了压力测试,以验证准确性、稳定性和临床真实性。试点会话的遥测洞察为最终改进提供了信息,确保一致性、可靠性和企业部署的准备。

数字双胞胎手术室

以临床为中心的虚拟手术室,旨在最大限度地沉浸于XR医学培训中。图片由Lucid Reality Labs提供。

XR医疗模拟的关键能力

该体验结合了沉浸式现实、适应性AI指导和临床级遥测,以安全和一致地扩展专家培训。

  • 超真实手术室模拟:复制真实的临床节奏、设置和程序压力,并动态调整难度以建立信心并减少认知负担。
  • AI导师(数字双胞胎):一位领先麻醉师的智能数字双胞胎提供实时指导、临床推理和与验证的医疗协议一致的适应性反馈。
  • 临床验证设计:与麻醉学专家共同开发,以反映真实设备、工作流程和安全标准,以便直接转移现实世界技能。
  • 绩效分析和客观评估:测量时间、顺序准确性、仪器处理和决策,以进行结构化的回顾和持续的技能发展。
  • 数据完整性和安全治理:iXR™平台管理内容、用户角色和分析,具有完整的可追溯性、版本控制和合规的数据处理。
  • 基于证据的结果:每个会话记录交互和结果,使技能进步、培训质量和学习留存的可测量洞察成为可能。

AI代理演示。视频由 Lucid Reality Labs 提供。

从模拟到自适应AI培训的扩展

从原型到全球培训标准,该项目经历了三个主要创新阶段,每个阶段都扩大了Unity驱动的医学教育的影响:

第一阶段 - VR基础

一个基于Unity的沉浸式培训模块,用于气道管理,后来在一项国际英国麻醉学杂志的研究中得到了验证,参与者包括来自18个国家的数百名临床医生。

结果:XR模拟被证明在临床上是现实的、可重复的,并且可扩展用于高风险实践。

插管模拟演示。视频由Lucid Reality Labs提供。

第二阶段 - AI医疗代理

引入一个智能AI导师,在同一Unity环境中提供实时反馈和推理。

结果:模拟演变为互动式、引导式学习,具有性能感知的指导和自适应反馈。

第三阶段 - 智能的沉浸式界面

XR成为自适应AI的接口,能够可视化知识、响应学习者的决策,并通过遥测不断改进。通过iXR™增强的手部追踪和更深入的分析加强个性化和技能发展。

Unity 让我们展示 AI 作为一个逼真的导师,激发同理心和信任。凭借其实时渲染和动画工具,它允许镜像真实专家,以加深学习者的参与感。

Alex Dzyuba
Alex Dzyuba - Lu
Founder and CEO
YouTube video

教授。Patrick Schoettker, 洛桑大学医院(CHUV)麻醉学主任。视频由 Lucid Reality Labs 提供。

展望未来:扩展自适应 AI 和沉浸式学习

Lucid Reality Labs 继续推进其 AI 驱动的模拟框架,以支持企业级医疗培训和需要精确性、适应性和可测量性能的高风险程序。以 Unity 作为核心实时引擎,智能与互动相结合,下一阶段专注于加强 AI 和 XR 之间的协同作用,使培训能够学习、演变并根据需求生成新场景。

未来的发展包括:

  • 由 iXR™ 平台提供的 AI 生成场景创建,使按需培训模块能够适应学习者的需求,减少手动开发工作。
  • 智能内容管理与 Unity Asset Manager,确保集中更新、可追溯性和跨组织及设备的无缝部署。
  • 普遍可访问性,在 XR 头显、桌面和平板电脑上提供一致的自适应培训,扩大对每位学习者的覆盖,无论硬件如何。
  • 持续优化循环,分析反馈改进和技能洞察,进一步完善决策并加速学习曲线。
  • 企业级合规性,专家验证的模块保持与 GDPR、HIPAA、ISO 27001 标准的对齐,并不断发展临床最佳实践。

通过将 Unity 的实时生态系统与 Lucid Reality Labs 的自适应 AI 和 iXR™ 平台相结合,该解决方案继续演变为一个自我改善、可扩展的培训系统——旨在提升临床准备、增强患者安全,并塑造医疗教育的未来。


探索案例研究

填写此表格以获取最新的客户成功案例