D'XR Interaction Toolkit à UI Toolkit et URP : Comment Unity Industry alimente une formation aéronautique XR unique en son genre

Notre étude de cas récente sur NMY Mixed-Reality basé à Francfort raconte l'histoire de leur plateforme de formation des employés en XR pour le Groupe Lufthansa, qui délivre 20 000 sessions de formation XR obligatoires automatisées par an. Les résultats représentent des économies de coûts et de temps révolutionnaires pour Lufthansa, y compris plus de 75 % d'économies sur les coûts opérationnels de formation et 80 % spécifiquement sur les frais de déplacement des formateurs.

Derrière cet incroyable retour sur investissement se cache l'histoire de la manière dont NMY a développé sa suite d'applications avec Unity Industry. Cet article explore les rouages de leur processus de développement et comment ils prévoient de faire progresser la technologie pour concrétiser leurs plans ambitieux à l'avenir.

Points clés à retenir : Comment Unity Industry alimente la formation des employés de l'aviation conforme de NMY pour Lufthansa

• NMY utilise Unity Industry pour développer, déployer et mettre à jour un écosystème unique de cours de formation immersive obligatoires, conformes aux réglementations strictes de l'industrie, pour différents rôles d'employés chez Lufthansa.
• 20 000 sessions de formation obligatoire automatisées par an sont complétées sur les applications de NMY Made with Unity Industry.
• La formation XR procure des avantages majeurs en matière d'apprentissage et économiques pour le Groupe Lufthansa :
  • Ils peuvent former leurs employés à gérer des situations dangereuses, impossibles à simuler avec une instruction basée sur l'analogue, dans un environnement virtuel.
  • D'après les propres données de Lufthansa, le cadre de formation XR réduit considérablement les frais de déplacement pour les employés et les formateurs.
• Les recherches internes et les enquêtes empiriques de NMY montrent que l'informatique spatiale et l'apprentissage par le jeu atteignent une efficacité d'apprentissage 4 fois supérieure par rapport aux méthodes traditionnelles en classe, à la lecture manuelle ou aux vidéos d'apprentissage en ligne 2D.
• Les résultats représentent des économies de coûts et de temps révolutionnaires pour Lufthansa, y compris plus de 75 % d'économies sur les coûts opérationnels de formation, et 80 % spécifiquement sur les frais de déplacement des formateurs.
• Il y a six étapes dans le cycle de développement de NMY avec Unity Industry :
  • Fondation, configuration et architecture modulaire
  • Production d'actifs et art technique
  • Conception d'interaction et développement XR de base
  • Interface utilisateur (UI) et Localization de contenu global
  • Optimisation des performances et livraison de contenu
  • Intégration d'entreprise et de systèmes évolutive
• Les caractéristiques clés de Unity Industry de NMY comprennent :
  • XR Interaction Toolkit et XR Hands
  • UI Toolkit et le package de Localization
  • Package Manager Unity
  • Universal Render Pipeline et High Definition Render Pipeline

Un système de bout en bout, des cours de formation à la certification automatisée

NMY combine leur expertise en jumeaux numériques approfondis – en créant des modèles 3D physiquement exacts et haute performance d'équipements propriétaires – avec des simulations ludiques engageantes, une expérience utilisateur (UX) naturelle et la narration.

Le logiciel XR phare de NMY pour le groupe Lufthansa comprend la formation Sécurité des aéronefs et la formation professionnelle Agent de rampe de fret. Ces applications ciblent les casques VR autonomes, les tablettes mobiles et les navigateurs web.

La formation obligatoire est conforme aux réglementations strictes de l'industrie établies par le Luftfahrt-Bundesamt (LBA), l'autorité aéronautique officielle allemande. La plateforme de NMY doit également fournir les résultats des examens : leur système évalue les examens automatiquement et synchronise les licences réussies en temps réel avec le système de gestion de l'apprentissage (LMS) et le système de planification de Lufthansa.

Cinq raisons pour lesquelles la formation XR de NMY l'emporte sur les méthodes analogiques

Selon NMY, la formation XR apporte cinq avantages révolutionnaires qui ont permis à Lufthansa de remplacer en grande partie ses anciens cours basés sur l'analogique qui se déroulaient dans des maquettes physiques et des avions :

1. Immersion réaliste à l'échelle de la pièce:
   1. Le mouvement naturel à l'échelle de la pièce et l'interaction spatiale sans contrôleur rapprochent l'entraînement de l'expérience d'un "holodeck" de la vie réelle (comme la salle Holodeck de la série télévisée Star Trek).
   2. Les stagiaires entrent dans un jumeau numérique 1:1 de leur environnement de travail, créant un fort sentiment de présence physique.
2. Haute efficacité d'apprentissage avec concentration profonde et mémoire musculaire: Les propres recherches internes et les enquêtes empiriques de NMY démontrent une efficacité d'apprentissage 4 fois supérieure à celle des salles de classe traditionnelles, de la lecture manuelle ou des vidéos d'apprentissage en ligne 2D. Les raisons de cela incluent :
   1. Les Sequences d'entraînement commencent par des indices et des caractéristiques visuelles qui sont progressivement éliminés, poussant les apprenants à exécuter des procédures dans une simulation réaliste en s'appuyant sur la mémoire musculaire. Ceci peut entraîner une meilleure rétention des connaissances et un rappel plus rapide et plus confiant dans des situations réelles critiques.
   2. Les équipes peuvent faire l'expérience et résoudre en toute sécurité des dangers extrêmes virtuels, des incendies et des pannes d'équipement critiques qui sont physiquement impossibles ou trop dangereux à simuler sur un avion réel.
   3. Dans l'ensemble, la VR immersive capte l'attention de l'apprenant et élimine les distractions externes.
3. Économies majeures de coûts et de temps, y compris une réduction de 80 % des frais de déplacement des formateurs:
   1. Pour les employés: Ils n'ont désormais besoin que de faire la navette localement ou régionalement jusqu'à leur centre XR le plus proche, avec un choix entre Bruxelles, Francfort, Munich et Zurich.
   2. Pour les instructeurs seniors: Auparavant, ils devaient voler du siège social à Bruxelles ou Zurich, réserver un hôtel et perdre deux jours de productivité juste pour passer un examen de deux heures.
   3. Maintenant, ils travaillent depuis le siège social (par exemple, Francfort) et utilisent le NMY Opérateur de système (via une tablette ou un tableau de bord de bureau) pour se connecter à distance pour la formation. Ils peuvent voir exactement ce que voit le stagiaire, évaluer l'examen en temps réel et déclencher des scénarios de stress en direct (comme de la fumée ou des erreurs techniques) en appuyant sur un bouton.
4. La synergie du jumeau numérique: Une fois qu'un avion très complexe est numérisé, ce même actif 3D est réutilisé dans l'ensemble du groupe d'entreprise. Les équipages de cabine l'utilisent pour les exercices de sécurité et de service, tandis que les équipes de fret l'utilisent pour la logistique au sol et la manutention technique. Cette philosophie de « construire une fois, déployer indéfiniment » maximise le retour sur investissement des actifs dans toute l'organisation.
5. Engagement élevé des apprenants: Fondées sur le modèle d'apprentissage propriétaire de NMY, les mécanismes interactifs et ludiques transforment la conformité de routine en une expérience engageante. Les enquêtes post-formation montrent constamment que les apprenants préfèrent cette formation intuitive et pratique.

Unity Industry La base technique de la formation XR pour les entreprises de l'aviation

Unity Industry est la plateforme de développement centrale de NMY, leur permettant de gérer l'ensemble du spectre de la réalité mixte.

Comme le dit Sebastian Demmerle, PDG de NMY, « (Unity Industry) agit comme le moteur principal de notre stratégie logicielle multiplateforme. » Grâce à l'architecture et aux outils flexibles d'Unity, nous pouvons faire fonctionner des scènes 3D massives et très complexes (comme un Boeing 777F entier ou des intérieurs de cabine détaillés) sur des appareils VR mobiles autonomes ainsi que sur des écrans plats, et faire évoluer et maintenir ces applications de formation critiques pour la sécurité avec une haute fidélité pour le Groupe Lufthansa.

Le pipeline « build once, deploy everywhere » d'Unity permet à NMY de rester indépendant du matériel et de choisir le bon appareil en fonction des contraintes opérationnelles, de sécurité ou logistiques spécifiques d'un client. Leurs plateformes cibles actuelles sont :

• Autonome et PCVR: Applications spatiales à haute immersion déployées sur des casques VR mobiles ainsi que sur des configurations PCVR haut de gamme et filaires.
• Solutions de repli mobiles et de bureau: Exporter sans heurts les mêmes actifs et la même logique 3D vers les tablettes iOS/Android (commande tactile), les applications de bureau (souris/clavier) et les navigateurs web.

Construire un écosystème XR à l'échelle de l'entreprise et certifié mondialement nécessite un pipeline de production structuré et optimisé. L'équipe de développement de NMY est composée de 15 à 20 professionnels, dont le processus de développement principal est divisé en les étapes suivantes.

1. Fondation, configuration et architecture modulaire

Le processus: Avant d'importer des données CAO lourdes des fabricants d'avions, NMY a établi une architecture de projet robuste et modulaire. Parce que cet écosystème couvre la VR autonome, la VR sur PC, les tablettes et les applications de bureau, la réutilisabilité du code et une gestion propre des dépendances sont critiques.

Leur équipe technique principale, composée d'ingénieurs logiciels XR et de développeurs Unity, écrit la logique C# qui pilote les Sequences d'entraînement et les mécanismes d'interaction client. En déployant des solutions de cadre internes et des systèmes modulaires, leurs ingénieurs fournissent une base stable, durable et fiable conçue pour une maintenabilité à long terme.

Outils principaux de l'Unity Industry:

• Gestionnaire de paquets Unity (UPM): UPM a permis à NMY d'encapsuler ses systèmes propriétaires dans des paquets contrôlés par version, rendant la modularité inter-projets, selon Sebastian Demmerle, « aussi facile que d'installer un plugin ».
• Unity ScriptableObject: Les ScriptableObjects sont un composant essentiel de l'architecture du projet car ils permettent un couplage lâche entre la couche de données et les composants exécutables dans la scène.
  • Ils facilitent pour les développeurs de NMY la mise en œuvre de modèles de conception tels que Modèle-Vue-Présentateur même au sein de la couche d'abstraction d'un moteur 3D. Ils leur permettent également de mettre en œuvre un large éventail d'approches basées sur les ressources telles que les systèmes d'événements, les types ou les magasins de variables partageables, ce qui aide à garder le code propre et à éviter le contexte statique.

« L'architecture modulaire et extensible de Unity, associée au puissant framework C# .NET, en fait un ensemble d'outils très flexible », déclare Mark Peter, chef de l'équipe de développement chez NMY. Nous pouvons créer rapidement des versions MVP en utilisant des API de haut niveau. Lorsqu'on aborde des défis plus complexes, nous pouvons tirer parti de fonctionnalités de bas niveau puissantes telles qu'Addressables, DOTS (Data-Oriented Technology Stack), le compilateur Burst et le système de tâches C# pour fournir la performance requise. En fin de compte, cela nous permet de mettre en œuvre une formation aéronautique de haute fidélité et multiplateforme sans compromettre le réalisme, même sur VR autonome.

Plus de savoir-faire technique d'Unity

• Playlist de tutoriels sur les modèles de programmation de jeux
• Introduction aux concepts, fonctionnalités et exemples de DOTS pour les développeurs Unity avancés
• Créer une architecture de jeu modulaire dans Unity avec ScriptableObjects

2. Production d'actifs et art technique

Le Processus: Les équipes d'art 3D et de technologie de NMY optimisent tous les éléments pour garantir que les environnements d'avions à l'échelle 1:1 fonctionnent à des fréquences d'images sans saccades sur les GPU mobiles VR. Cette étape implique également l'intégration d'avatars humains réalistes pour servir de formateurs ou de passagers virtuels.

En plus de l'optimisation des actifs, les artistes techniques de NMY configurent des shaders, pré-calculent l'éclairage et utilisent le Universal Render Pipeline (URP) pour maintenir des fréquences d'images performantes. Ils s'assurent également que chaque extincteur virtuel, porte de cabine et chargeur de fret se déplace et réagit avec une précision physique de 1:1.

Outils principaux de l'Unity Industry:

• Pipeline de rendu universel (URP): URP fournit des flux de travail qui permettent aux artistes et aux artistes techniques de créer efficacement des graphismes optimisés sur une gamme de plateformes, du mobile aux consoles et PC haut de gamme.
• Calculer le Lightmap Baker et xAtlas: Ceci est crucial pour leur optimisation environnementale. Ils intègrent un éclairage haute fidélité dans les scènes statiques et gèrent l'atlas de textures, maintenant une faible utilisation de la mémoire tout en conservant le photoréalisme.
• Shader Graph: Leurs artistes techniques peuvent script visuellement des matériaux dynamiques et personnalisés (tels que du verre interactif, de la fumée ou des états de danger mis en évidence) sans surcharge de code importante.
• Prise en charge des E/S de pipeline: Ils utilisent des pipelines d'E/S pour connecter directement des logiciels d'animation de personnages externes à Unity, y compris la combinaison de mouvement Rokoko, Character Creator (CC5) et iClone, afin de créer des mouvements réalistes pour les avatars numériques.

« Si un outil spécifique n'existe pas, l'architecture ouverte d'Unity nous permet de le développer nous-mêmes et de l'étendre à d'autres projets d'entreprise », déclare Sebastian Demmerle.

Plus de savoir-faire technique d'Unity

• Créez des shaders populaires et des effets visuels avec le Universal Render Pipeline
• Introduction à URP pour les créateurs avancés

3. Conception d'interaction et développement XR de base

Le Processus: À ce stade, les ingénieurs logiciels construisent la logique d'entraînement principale. L'objectif principal est d'éliminer l'anxiété technologique pour l'utilisateur final en assurant des interactions naturelles et intuitives avec l'environnement virtuel sur toutes les plateformes prises en charge.

Outils principaux de l'Unity Industry:

• XR Interaction Toolkit et XR Hands: Ces paquets constituent l'épine dorsale de leur cadre d'entraînement. NMY a implémenté des interactions personnalisées spécifiques à l'entraînement et des interactions manuelles naturelles afin que les équipages de vol et les agents de piste puissent utiliser des outils virtuels, ouvrir des portes, basculer des interrupteurs et saisir des extincteurs sans contrôleurs encombrants.
• Physique 3D intégrée de Unity: NMY a tiré parti du moteur physique 3D intégré d'Unity et du High Definition Render Pipeline pour reproduire des intérieurs de cabine, des cales de fret et des équipements lourds réalistes à l'échelle 1:1.

Plus de savoir-faire technique d'Unity

• Éclairage et environnements dans le High Definition Render Pipeline
• Créer une playlist de jeux VR Multiplayer
• Créer des expériences de réalité virtuelle et mixte dans Unity

4. Interface utilisateur (UI) et Localization de contenu global

Le Processus: Les concepteurs d'interface utilisateur et d'interaction implémentent les interfaces spatiales et les flux utilisateurs en utilisant l'UI Toolkit de Unity. Ils travaillent avec des menus spatiaux pour les casques VR et des interfaces tactiles 2D évolutives pour les versions de secours sur iPad et ordinateur de bureau.

De plus, les modules de formation doivent prendre en charge la main-d'œuvre internationale de Lufthansa avec un texte d'instruction et une voix off disponibles dans plusieurs langues.

Outils principaux de l'Unity Industry:

UI Toolkit : UI Toolkit s'inspire des technologies web standard, permettant aux équipes de séparer la structure, le style et le comportement de l'interface utilisateur, de manière similaire à ce que vous feriez avec HTML, CSS et JavaScript. Pour NMY, il permet à ses concepteurs d'adapter efficacement une conception d'interface utilisateur de base à différents clients, tailles d'écran et types d'appareils.

package de Localization Unity: Ce paquet est intégré directement avec des fournisseurs de contenu externes comme Google Sheets. Il permet aux experts en la matière et aux clients de rédiger, traduire et réviser confortablement des actifs textuels multilingues sans avoir à toucher à la construction du moteur.

Plus de savoir-faire technique d'Unity

• Créer une interface utilisateur évolutive et performante avec UI Toolkit dans Unity
• QuizU: Projet d'exemple de UI Toolkit

5. Optimisation des performances et livraison de contenu

Le Processus: L'étape finale de construction se concentre sur l'évolutivité à long terme. Au lieu de forcer les clients à télécharger une mise à jour d'application massive chaque fois qu'un nouvel avion ou un nouveau scénario de formation est ajouté, NMY découple le contenu lourd du noyau de l'application pour un Deployment transparent vers le hub XR

Outils principaux de l'Unity Industry:

package Unity Addressables: Sebastian Demmerle fait référence au package Addressables comme étant le « remède miracle » de son équipe pour la gestion de la mémoire. Au lieu de forcer un casque VR mobile à allouer un avion entier d'un coup, le package Addressables permet à NMY de diffuser des modules très détaillés en mémoire et hors mémoire en temps réel. Ceci maintient l'utilisation de la mémoire GPU et les performances optimales.

Le Unity Profiler: Les ingénieurs d'assurance qualité de NMY s'appuient sur le Unity Profiler et d'autres outils de débogage intégrés pour tester les versions multiplateformes, surveiller l'utilisation de la mémoire afin de prévenir les pannes matérielles et valider que la logique de notation d'examen automatisée se déclenche correctement dans des conditions de stress virtuelles telles que des risques d'incendie, de la fumée ou des opérations de chargement de marchandises complexes.

Plus de savoir-faire technique d'Unity

• Optimisez la performance de votre jeu pour mobile, XR et le Web dans Unity
• Guide essentiel pour le profilage des jeux Unity

6. Intégration d'entreprise et de systèmes évolutive

Le processus: Unity agit comme le centre névralgique reliant le logiciel client interactif de NMY à l'architecture d'entreprise dorsale.

Outils principaux de l'Unity Industry:

• L'extensibilité et les capacités d'intégration de Unity: NMY peut lier les applications clientes Unity à leur tableau de bord propriétaire NMY System Operator, permettant aux instructeurs de surveiller les flux vidéo en direct, d'injecter des dangers de stress en temps réel (comme de la fumée ou des pannes système) et d'évaluer les stagiaires à distance. Cette capacité fondamentale a permis à Lufthansa de réduire les coûts de voyage des formateurs de 80 %.
• API personnalisées: En intégrant des API personnalisées dans Unity, les applications de NMY peuvent transmettre directement les données de réussite ou d'échec d'examen au système de gestion de l'apprentissage (LMS) et aux bases de données RH de Lufthansa sans intervention manuelle.

L'écosystème de formation XR de NMY n'est que le début

« Nous n'en sommes pas au bout », dit Sebastian Demmerle. Notre fondation de formation XR sera le système d'exploitation d'un écosystème d'entreprise beaucoup plus vaste. Notre objectif est de transformer cette plateforme d'un simple outil de formation en un environnement de calcul spatial intelligent et interconnecté.

Sebastian et son équipe ont décrit leurs prochaines étapes pour leur écosystème XR et comment Unity les aidera à y parvenir :

Mettre l'écosystème à l'échelle

La prochaine étape immédiate est la mise à l'échelle horizontale rapide. Ils s'étendent au-delà de la sécurité des cabines et de la manutention de fret pour inclure des procédures complexes de Maintenance, Réparation et Révision (MRO), la familiarisation des pilotes et les déploiements sur l'ensemble de la flotte (passant d'un type d'avion à l'ensemble de la flotte Lufthansa).

Comment Unity Industry aide: Ils continueront à dépendre du package Addressables et du Unity Package Manager. Ils peuvent créer les nouveaux actifs et la logique 3D, et les diffuser comme contenu DLC modulaire vers les hubs d'application existants, assurant une évolutivité efficace sans alourdir l'application principale.

Intégration de solutions d'IA et de scénarios dynamiques

Ils passeront des scénarios d'entraînement scriptés à des environnements hautement dynamiques et imprévisibles pilotés par l'IA. Ils visent à implémenter des PNJ (personnages non-joueurs) intelligents pour un jeu de rôle réaliste, comme désamorcer des passagers turbulents, interagir avec le contrôle aérien ou gérer des cascades de dangers générées dynamiquement qui s'adaptent au niveau de compétence de l'utilisateur.

Comment Unity Industry aide: « Unity Sentis va changer la donne pour nous ici », déclare Sebastian Demmerle. Sentis nous permet d'exécuter des modèles d'IA de réseaux neuronaux avancés localement, directement dans l'environnement d'exécution Unity sur le casque VR. Cela signifie que nous pouvons fournir des commandes vocales pilotées par l'IA, une traduction en temps réel et des avatars intelligents avec une latence cloud nulle et une confidentialité des données absolue, ce qui est une exigence stricte pour la sécurité de l'aviation d'entreprise.

Robotique et automatisation

L'industrie aéronautique évolue rapidement vers l'automatisation des aires de trafic. NMY veut étendre ses Digital Twins pour inclure des tracteurs de bagages autonomes, des équipements de manutention au sol robotisés et la téléopération. L'objectif est d'utiliser le même environnement XR non seulement pour former des humains, mais aussi pour simuler, entraîner et surveiller des systèmes robotiques du monde réel.

Comment Unity Industry aide : Les capacités de Unity Robotics permettront à NMY de faire le pont entre les capteurs robotiques du monde réel et leur environnement virtuel 3D. Ils pourront simuler des données LiDAR ou de caméra dans Unity pour entraîner des modèles d'apprentissage automatique pour les robots, ou diffuser des télémétries en temps réel de robots d'atelier physiques dans un jumeau numérique VR, permettant aux opérateurs humains de surveiller ou de téléopérer des machines à distance.

CTA: En savoir plus sur Unity Simulation Pro early access

Dispositifs portables avancés, haptique et biométrie

NMY vise à intégrer des « dispositifs portables avancés » dans l'expérience XR, y compris des gants et des combinaisons haptiques pour simuler la résistance physique de machinerie lourde ou de feu. Ils veulent également utiliser le suivi oculaire et des capteurs biométriques pour mesurer la charge cognitive et les niveaux de stress d'un stagiaire pendant un examen. Et ils espèrent cibler des lunettes intelligentes AR légères pour le support de maintenance sur le lieu de travail.

Comment Unity Industry aide: Les packages Unity’s XR Plug-in Management, OpenXR, et XR Interaction Toolkit fourniront un pont standardisé pour intégrer les dispositifs portables avancés sans avoir à réécrire la logique principale de l'application.

« Unity a été notre compagnon de confiance depuis le premier jour », déclare Sebastian Demmerle. Nous sommes impatients de voir comment NMY continuera d'innover à l'avenir et de faire progresser les capacités technologiques et graphiques de Unity Industry.