Из XR Interaction Toolkit в UI Toolkit и URP: Как Unity Industry обеспечивает уникальное обучение пилотов в сфере XR

Наше недавнее тематическое исследование о базирующейся во Франкфурте платформе смешанной реальности NMY рассказывает историю их платформы обучения сотрудников в области XR для Lufthansa Group, которая обеспечивает 20 000 автоматизированных обязательных учебных сессий по XR в год. Результаты — это кардинальное снижение затрат и времени для Lufthansa, включая экономию более 75% на операционных расходах на обучение и 80% конкретно на командировочные расходы тренеров.

За этим невероятным ROI стоит история о том, как NMY разработала свой пакет приложений с использованием Unity Industry. В этой статье исследуются тонкости их процесса разработки и то, как они планируют продвигать эту технологию для реализации своих амбициозных планов в будущем.

Основные выводы: Как Unity Industry обеспечивает соответствие обучения сотрудников авиакомпании NMY для Lufthansa

• NMY использует Unity Industry для разработки, развертывания и обновления уникальной экосистемы обязательных курсов иммерсивного обучения, соответствующих строгим отраслевым нормам, для различных должностей сотрудников Lufthansa.
• 20,000 автоматизированных обязательных учебных сессий в год завершается в приложениях NMY, сделанных с помощью Unity Industry.
• Обучение в области XR дает Lufthansa Group значительные образовательные и экономические преимущества:
  • Они могут обучать своих сотрудников работе в опасных ситуациях, которые невозможно смоделировать с помощью аналогового обучения, в виртуальной среде.
  • Согласно собственным данным Lufthansa, учебная структура XR значительно снижает расходы на поездки как для сотрудников, так и для тренеров.
• Внутренние исследования NMY и эмпирические опросы клиентов показывают, что пространственные вычисления и обучение на основе игр достигают в 4 раза более высокой эффективности обучения по сравнению с традиционными классными занятиями, ручным чтением или 2D видеообучением.
• Результаты — это кардинальное снижение затрат и времени для Lufthansa, включая экономию более 75% на операционных расходах на обучение и 80% конкретно на командировочные расходы тренеров.
• В цикле разработки NMY с Unity Industry есть шесть этапов:
  • Фундамент, настройка и модульная архитектура
  • Производство ассетов и техническое искусство
  • Дизайн взаимодействия и основная разработка XR
  • Пользовательский интерфейс (UI) и глобальная Localization контента
  • Оптимизация производительности и доставка контента
  • Масштабируемая корпоративная интеграция и системная интеграция
• Ключевые функции Unity Industry NMY включают:
  • XR Interaction Toolkit и XR Hands
  • UI Toolkit и пакет Localization
  • Unity Package Manager
  • Universal Render Pipeline и High Definition Render Pipeline

Комплексная система, от учебных курсов до автоматизированной сертификации

NMY сочетает свой глубокий опыт в создании цифровых двойников – создание физически точных, высокопроизводительных 3D запатентованного оборудования – с увлекательными игровыми симуляциями, естественным пользовательским опытом (UX) и сторителлингом.

Флагманское XR-программное обеспечение NMY для Lufthansa Group включает обучение по безопасности воздушных судов и профессиональное обучение для агентов грузовых погрузочных доков. Эти приложения предназначены для автономных VR-гарнитур, мобильных планшетов и веб-браузеров.

Обязательное обучение соответствует строгим отраслевым нормам, установленным Федеральным управлением гражданской авиации (LBA), официальным немецким авиационным органом. Платформа NMY также должна предоставлять результаты экзаменов: их система автоматически оценивает экзамены и синхронизирует полученные лицензии в режиме реального времени с корпоративной системой управления обучением (LMS) и системой составления графиков Lufthansa.

Пять причин, почему обучение XR от NMY превосходит аналоговые методы

Согласно NMY, обучение XR дает пять революционных преимуществ, в результате чего Lufthansa в значительной степени заменила свои старые курсы на аналоговой основе, которые проходили на физических макетах и самолетах:

1. Реалистичное погружение в масштабе комнаты:
   1. Естественное движение в масштабе комнаты и пространственное взаимодействие без контроллеров приближают обучение к реальному опыту "голодека" (как в комнате Голодека из телесериала Star Trek).
   2. Стажеры входят в цифровую копию своего рабочего окружения в соотношении 1:1, создавая сильное ощущение физического присутствия.
2. Высокая эффективность обучения с глубокой концентрацией и мышечной памятью: Внутренние исследования NMY и эмпирические опросы клиентов показывают в 4 раза более высокую эффективность обучения по сравнению с традиционными занятиями в классе, ручным чтением или видеоуроками 2D. Причины этого включают:
   1. Обучающие Sequences начинаются с визуальных подсказок и признаков, которые постепенно отключаются, заставляя обучающихся выполнять процедуры в реалистичной симуляции, полагаясь на мышечную память. Это может привести к более высокому запоминанию знаний и более быстрому, уверенному воспроизведению в критических реальных ситуациях.
   2. Команды могут безопасно испытать и разрешить виртуальные экстремальные опасности, пожары и критические отказы оборудования, которые физически невозможно или слишком опасно симулировать на реальном самолете.
   3. В целом, иммерсивный VR захватывает внимание учащегося и устраняет внешние отвлекающие факторы.
3. Значительная экономия затрат и времени, включая 80% сокращение расходов на командировки тренеров:
   1. Для сотрудников: Теперь им нужно только ездить на работу локально или в пределах региона к ближайшему XR-хабу, с выбором между Брюсселем, Франкфуртом, Мюнхеном и Цюрихом.
   2. Для старших инструкторов: Ранее им приходилось летать из штаб-квартиры в Брюссель или Цюрих, бронировать отель и терять два дня продуктивности только для того, чтобы провести двухчасовой экзамен.
   3. Теперь они работают из штаб-квартиры (например, Франкфурта) и используют NMY Системный оператор (через планшет или настольную панель управления) для удаленного подключения для обучения. Они могут видеть в точности то, что видит стажер, оценивать экзамен в реальном времени и запускать живые стрессовые сценарии (например, дым или технические ошибки) нажатием одной кнопки.
4. Синергия цифрового двойника: Как только высокосложный самолет оцифровывается, этот же 3D-актив используется во всей корпоративной группе. Кэбные экипажи используют его для учений по безопасности и обслуживанию, в то время как команды по грузовым перевозкам используют его для наземной логистики и технической обработки. Эта философия «создай один раз, развертывай бесконечно» максимизирует возврат инвестиций в активы во всей организации.
5. Высокая вовлеченность учащихся: Основываясь на запатентованной модели обучения NMY, интерактивные игровые механики превращают рутинное соблюдение в увлекательный опыт. Опросы после обучения постоянно показывают, что учащиеся предпочитают это интуитивно понятное практическое обучение.

Unity Industry: Техническая основа обучения XR для авиационного предприятия

Unity Industry — это основная разработочная платформа NMY, которая позволяет им работать во всем спектре смешанной реальности.

Как говорит Себастьян Деммерле, генеральный директор NMY, «(Unity Industry) выступает в качестве основного двигателя нашей многоплатформенной стратегии программного обеспечения». Благодаря гибкой архитектуре и инструментам Unity мы можем переносить массивные, высокосложные 3D-сцены (например, весь Boeing 777F или детализированные интерьеры салона) на автономные мобильные VR-устройства, а также на устройства с плоским экраном, и масштабировать и поддерживать эти высокоточные, критически важные для безопасности учебные приложения для Lufthansa Group.

Конвейер Unity «создай один раз, разверни везде» позволяет NMY оставаться независимым от оборудования и выбирать подходящее устройство в соответствии с конкретными операционными, мерами безопасности или логистическими ограничениями клиента. Их текущие целевые платформы:

• Автономный и PCVR: Приложения с высокой степенью погружения в пространстве, развернутые как на мобильные VR-гарнитуры, так и на высокопроизводительные проводные PCVR-системы.
• Мобильные и настольные запасные варианты: Бесшовная экспорт точно таких же 3D-ассетов и логики на планшеты iOSAndroid (сенсорное управление), настольные приложения (мышь/клавиатура) и веб-браузеры.

Создание глобально сертифицированной экосистемы XR корпоративного масштаба требует структурированного и оптимизированного производственного конвейера. Команда разработчиков NMY состоит из 15-20 специалистов, чей основной процесс разработки разделен на следующие этапы.

1. Фундамент, настройка и модульная архитектура

Процесс: Перед импортом тяжелых данных САПР от производителей самолетов NMY разработала надежную, модульную проектную архитектуру. Поскольку эта экосистема охватывает автономный VR, PCVR, планшеты и настольные приложения, повторное использование кодовой базы и чистое управление зависимостями имеют решающее значение.

Их основная техническая команда, состоящая из инженеров по программному обеспечению XR и разработчиков Unity, пишет логику на C#, которая управляет обучающими Sequences и механизмами взаимодействия с клиентами. Развертывая внутренние фреймворк-решения и модульные системы, их инженеры создают стабильную, устойчивую и надежную основу, спроектированную для долгосрочной поддержки.

Основные инструменты Unity Industry:

• Unity Package Manager (UPM): UPM позволила NMY инкапсулировать свои проприетарные системы в пакеты с контролем версий, что сделало межпроектную модульность, по словам Себастьяна Деммерле, «легкой, как установка плагина».
• Unity ScriptableObject: ScriptableObjects являются неотъемлемым компонентом архитектуры проекта, поскольку они обеспечивают слабую связанность между уровнем данных и исполняемыми компонентами в сцене.
  • Они упрощают разработчикам NMY реализацию таких шаблонов проектирования, как Model-View-Presenter, даже в рамках уровня абстракции 3D-движка. Они также позволяют им внедрять широкий спектр подходов, основанных на активах, таких как системы событий, типы или совместно используемые хранилища переменных, помогая поддерживать код чистым и избегать статического контекста.

«Модульная и расширяемая архитектура Unity в сочетании с мощным фреймворком C# .NET делает его высокогибким набором инструментов», — говорит Марк Питер, ведущий разработчик в NMY. Мы можем быстро создавать сборки MVP, используя высокоуровневые API. При решении более сложных задач мы можем использовать мощные низкоуровневые возможности, такие как Addressables, DOTS (Data-Oriented Technology Stack), компилятор Burst и система задач C#, для обеспечения требуемой производительности. В конечном счете, это позволяет нам внедрять высококачественное кроссплатформенное авиационное обучение без ущерба для реализма, даже на автономном VR.

Более глубокие технические знания от Unity

• Плейлист туториалов по паттернам геймдева
• Введение в концепции, возможности и примеры DOTS для продвинутых разработчиков Unity
• Создание модульной игровой архитектуры в Unity с использованием ScriptableObjects

2. Производство ассетов и техническое искусство

Процесс: Команды 3D и технического искусства NMY оптимизируют все ассеты, чтобы гарантировать, что среды с самолетами в масштабе 1:1 работают без рывков на мобильных GPU VR. Этот этап также включает интеграцию реалистичных человеческих аватаров в качестве виртуальных тренеров или пассажиров.

Помимо оптимизации ресурсов, технические художники NMY настраивают шейдеры, выпекают освещение и используют Universal Render Pipeline (URP) для поддержания производительных частот кадров. Они также гарантируют, что каждый виртуальный огнетушитель, дверца кабины и подъемник груза движутся и реагируют с физической точностью 1:1.

Основные инструменты Unity Industry:

• Universal Render Pipeline (URP): URP предоставляет рабочие процессы, которые позволяют художникам и техническим художникам эффективно создавать оптимизированную графику для различных платформ, от мобильных устройств до высокопроизводительных консолей и ПК.
• Вычислить Lightmap Baker и xAtlas: Это крайне важно для оптимизации их среды. Они встраивают высококачественное освещение в статичные сцены и занимаются атласированием текстур, поддерживая низкое использование памяти при сохранении фотореализма.
• Shader Graph: Их технические художники могут визуально скриптовать динамические, настраиваемые материалы (такие как интерактивное стекло, дым или выделение опасных состояний) без большого объема кода.
• Поддержка ввода/вывода конвейера: Они используют конвейеры ввода-вывода для прямой связи внешнего программного обеспечения для анимации персонажей с Unity, включая костюм движения Rokoko, Character Creator (CC5) и iClone, чтобы создать реалистичное движение для цифровых аватаров.

«Если не существует определенного инструмента, открытая архитектура Unity позволяет нам разработать его самостоятельно и масштабировать на другие корпоративные проекты», — говорит Себастьян Деммерле.

Более глубокие технические знания от Unity

• Создавайте популярные шейдеры и визуальные эффекты с помощью Universal Render Pipeline
• Введение в URP для продвинутых создателей

3. Дизайн взаимодействия и основная разработка XR

Процесс: На этом этапе инженеры-программисты создают основную логику обучения. Основная цель — устранить технологическую тревожность у конечного пользователя, обеспечив естественное и интуитивно понятное взаимодействие с виртуальной средой на всех поддерживаемых платформах.

Основные инструменты Unity Industry:

• XR Interaction Toolkit и XR Hands: Эти пакеты составляют основу их учебной структуры. NMY реализовал пользовательские взаимодействия, специфичные для обучения, и естественные ручные взаимодействия, чтобы экипажи и агенты на перроне могли управлять виртуальными инструментами, открывать двери, переключать выключатели и брать огнетушители без громоздких контроллеров.
• Встроенная 3D-физика Unity: NMY использовал встроенный физический движок 3D Unity и конвейер рендеринга высокого разрешения для воссоздания реалистичных интерьеров кабины, грузовых отсеков и тяжелого оборудования в масштабе 1:1.

Более глубокие технические знания от Unity

• Освещение и окружения в конвейере рендеринга высокого разрешения
• Создай плейлист VR Multiplayer игры
• Создавайте виртуальные и смешанные реальности в Unity

4. Пользовательский интерфейс (UI) и глобальная Localization контента

Процесс: Дизайнеры пользовательского интерфейса и взаимодействия реализуют пространственные интерфейсы и пользовательские сценарии с помощью UI Toolkit в Unity. Они работают как с пространственными меню для VR-гарнитур, так и с масштабируемыми 2D-сенсорными интерфейсами для версий на iPad и для резервного использования на настольных компьютерах.

Кроме того, учебные модули должны поддерживать международную рабочую силу Lufthansa с инструкционным текстом и озвучиванием на нескольких языках.

Основные инструменты Unity Industry:

UI Toolkit: UI Toolkit вдохновлен стандартными веб-технологиями, позволяя командам разделять структуру, стиль и поведение пользовательского интерфейса, подобно тому, как вы могли бы это сделать с помощью HTML, CSS и JavaScript. Для NMY это позволяет его дизайнерам эффективно адаптировать один базовый дизайн пользовательского интерфейса для соответствия различным клиентам, размерам экрана и типам устройств.

пакет Unity Localization: Этот пакет интегрирован напрямую с внешними поставщиками контента, такими как Google Таблицы. Это позволяет экспертам по предметным областям и клиентам удобно создавать, переводить и просматривать мультиязычные текстовые ресурсы, не вмешиваясь в сборку движка.

Более глубокие технические знания от Unity

• Создайте масштабируемый и производительный UI с помощью UI Toolkit в Unity
• QuizU: Пример проекта UI Toolkit

5. Оптимизация производительности и доставка контента

Процесс: Финальный этап сборки сосредоточен на долгосрочной масштабируемости. Вместо того чтобы заставлять клиентов загружать массивное обновление приложения каждый раз, когда добавляется новый самолет или сценарий обучения, NMY отделяет тяжелый контент от основного оболочки приложения для бесшовного Deployment в XR-хаб.

Основные инструменты Unity Industry:

пакет Unity Addressables: Себастьян Деммерле называет пакет Addressables «серебряной пулей» для управления памятью его команды. Вместо того чтобы заставлять мобильный VR-шлем выделять весь самолет сразу, пакет Addressables позволяет NMY потоково загружать и выгружать сильно детализированные модули в память во время выполнения. Это поддерживает оптимальное использование памяти GPU и производительность.

Профайлер Unity: Инженеры по обеспечению качества NMY полагаются на Unity Profiler и другие инструменты отладки внутри движка для тестирования кроссплатформенных сборок, мониторинга использования памяти для предотвращения сбоев оборудования и проверки правильной активации логики автоматизированной оценки при виртуальных стрессовых условиях, таких как пожарная опасность, дым или сложные операции по погрузке груза.

Более глубокие технические знания от Unity

• Оптимизируйте производительность вашей игры для мобильных устройств, XR и веба в Unity
• Полное руководство по профилированию игр в Unity

6. Масштабируемая корпоративная интеграция и системная интеграция

Процесс: Unity выступает в качестве центрального узла, соединяющего интерактивное клиентское программное обеспечение NMY с корпоративной архитектурой бэкэнда.

Основные инструменты Unity Industry:

• Возможности расширяемости и интеграции Unity: NMY может связывать клиентские приложения Unity с их проприетарной панелью NMY System Operator, позволяя инструкторам отслеживать прямые видеопотоки, вводить стрессовые опасности в реальном времени (такие как дым или сбои системы) и удаленно оценивать стажеров. Эта основополагающая возможность позволила Lufthansa сократить расходы на командировки тренеров на 80%.
• Пользовательские API: Интегрируя пользовательские API в Unity, приложения NMY могут передавать данные об успехе или провале экзаменов напрямую в систему управления обучением (LMS) и базы данных HR Lufthansa без ручного вмешательства.

Экосистема обучения XR от NMY — это только начало

«Мы еще не на финишной прямой», — говорит Себастьян Деммерле. Наш обучающий фундамент XR станет операционной системой для гораздо более крупной корпоративной экосистемы. Наша цель — трансформировать эту платформу из чисто обучающего инструмента в интеллектуальную, взаимосвязанную среду пространственных вычислений.

Себастьян и его команда изложили свои следующие шаги для своей XR-экосистемы и то, как Unity поможет им в этом:

Масштабирование экосистемы

Непосредственным следующим шагом является быстрое горизонтальное масштабирование. Они расширяют сферу деятельности за пределы безопасности кабины и обработки грузов, включая сложные процедуры технического обслуживания, ремонта и капитального ремонта (MRO), ознакомление пилотов и полномасштабное внедрение для всего парка (масштабирование от одного типа самолета до всего парка Lufthansa).

Как Unity Industry помогает: Они продолжат полагаться на пакет Addressables и Unity Package Manager. Они могут создавать новые 3D-ассеты и логику, а затем передавать их в виде модульного контента DLC в существующие хабы приложения, обеспечивая эффективную масштабируемость без раздувания основного приложения.

Интеграция решений на базе ИИ и динамических сценариев

Они перейдут от сценариев тренировок, прописанных заранее, к высокодинамичным, непредсказуемым средам, управляемым ИИ. Они стремятся внедрить умных NPC (неигровых персонажей) для реалистичного ролевого отыгрыша, такого как снижение напряженности среди непослушных пассажиров, взаимодействие с диспетчером воздушного движения или устранение динамически генерируемых каскадов опасностей, адаптирующихся к уровню навыков пользователя.

Как Unity Industry помогает: «Unity Sentis станет для нас здесь прорывом», — говорит Себастьян Деммерле. Sentis позволяет нам запускать передовые модели ИИ нейронных сетей локально, непосредственно в рантайме Unity на VR-гарнитуре. Это означает, что мы можем предоставлять голосовые команды на базе ИИ, перевод в реальном времени и умные аватары с нулевой задержкой облака и абсолютной конфиденциальностью данных, что является строгим требованием для корпоративной авиационной безопасности.

Робототехника и автоматизация

Авиационная промышленность быстро движется к автоматизации перронов. NMY хочет расширить свои Digital Twins, включив в них автономные тягачи багажа, роботизированное наземное оборудование и телеуправление. Цель состоит в том, чтобы использовать ту же среду XR не только для обучения людей, но и для симуляции, обучения и мониторинга реальных роботизированных систем.

Как помогает Unity Industry: Возможности Unity Robotics позволят NMY связать реальные роботизированные датчики с их виртуальной 3D-средой. Они смогут симулировать данные LiDAR или камеры в Unity для обучения моделей машинного обучения для роботов или передавать телеметрию в реальном времени от физических промышленных роботов в цифрового двойника VR, позволяя операторам-людям удаленно контролировать или дистанционно управлять оборудованием.

CTA: Узнайте больше о Unity Simulation Pro раннем доступе

Умные носимые устройства, тактильная обратная связь и биометрия

NMY стремится интегрировать «передовые носимые устройства» в опыт XR, включая перчатки и костюмы с тактильной обратной связью для имитации физического сопротивления тяжелой техники или огня. Они также хотят использовать айтрекинг и биометрические датчики для измерения когнитивной нагрузки и уровня стресса стажера во время экзамена. И они надеются нацелиться на легкие AR-смарт-очки для поддержки технического обслуживания на рабочем месте.

Как Unity Industry помогает: Пакеты XR Plug-in Management, OpenXR и XR Interaction Toolkit от Unity предоставят стандартизированный мост для интеграции передовых носимых устройств без необходимости переписывать основную логику приложения.

«Unity был нашим надежным спутником с первого дня», — говорит Себастьян Деммерле. Мы с нетерпением ждем, как NMY продолжит внедрять инновации в будущем и продвигать технологические и графические возможности Unity Industry.