Meilleures pratiques pour développer des applications XR pour l'industrie

Résumé exécutif

Au cours des dernières décennies, les développeurs ont amené l'industrie dans le domaine numérique. Ils ont codé des plateformes en ligne où les gens peuvent acheter ou vendre n'importe quoi. Ils ont créé des bibliothèques ouvertes enseignant tout, de la CAO 3D à la fusion de minerais bruts. Ils ont produit des outils de mise en réseau pour collaborer sur des optimisations de conception et de géométrie 3D, et bien plus encore. En conséquence, les experts de l'industrie peuvent partager et apprendre n'importe quoi en quelques clics. Mais pour ce faire, ils doivent encore se connecter à ce domaine numérique.

Cela a conduit à la prochaine étape de la transformation numérique de l'industrie. Au lieu de relier le domaine physique de l'industrie à celui du numérique, les développeurs ont l'intention de les mélanger. En essence, le domaine numérique arrive maintenant directement sur le sol de production via la réalité virtuelle (VR), la réalité augmentée (AR) et la réalité mixte (MR) — collectivement appelées réalité étendue (XR). Les applications industrielles actuelles de ces technologies incluent :

• Formation VR sur des lignes de production numériques pour réduire les risques pour les personnes, les produits et les biens.
• Maintenance assistée par AR, permettant aux personnes sur la ligne de voir comment les concepteurs envisagent de résoudre un problème.
• Magasins habilités par MR où les clients peuvent visiter virtuellement ou essayer des produits avant d'acheter.
• Les applications industrielles des technologies XR en sont encore à leurs débuts. Ainsi, les développeurs de l'industrie peuvent se demander quelles applications sont disponibles.

Cependant, la récente intégration de XR dans l'industrie amène les développeurs à poser une autre question : Quelles sont les meilleures pratiques pour produire ces expériences ? Cela sera discuté ici.

Ce livre électronique a été commandé par engineering.com.

Qu'est-ce que XR, et comment va-t-il changer l'industrie ?

Bien que la plupart des développeurs sachent instinctivement faire la différence entre les technologies XR, il est préférable de les définir ici pour établir une base :

• La réalité virtuelle (VR) est une expérience entièrement numérique ; les seules connexions au monde réel sont les dispositifs d'entrée et d'affichage d'un utilisateur.
• La réalité augmentée (AR) est un mélange doux entre le monde physique et le royaume virtuel ; des actifs numériques, des informations et des données sont superposés sur des actifs du monde réel.
• La réalité mixte (MR) mélange complètement le royaume numérique et le monde physique ; les actifs numériques interagissent avec les actifs du monde réel et vice versa.
• La réalité étendue (XR) englobe tout ce qui précède.

« Je définirais largement [XR] comme la création d'expériences immersives qui brouillent la ligne entre les réalités physique et numérique », convient Seth Glaze, responsable produit technique senior de l'équipe industrie chez Unity. « Cela inclut spécifiquement la VR, ou réalité virtuelle, l'AR, réalité augmentée et ensuite la réalité mixte. »

Un exemple industriel de VR pourrait impliquer une réunion ou un atelier numérique. Ici, des employés du monde entier interagissent simultanément avec un paysage numérique et des jumeaux numériques d'actifs du monde réel. En réalité, chaque employé porte un casque VR et utilise un dispositif d'entrée pour interagir avec l'environnement virtuel et les jumeaux numériques. Mais dans le royaume numérique, les employés pourraient redimensionner les jumeaux à n'importe quelle taille (pour inspecter ou tester les plus petits détails) ou simuler la performance d'un produit dans n'importe quel environnement.

Une autre bonne application de la VR est « la formation immersive [car] c'est souvent le seul moyen de former à grande échelle », déclare Jerome Maurey-Delaunay, architecte de solutions senior de l'équipe industrie chez Unity. « Vous ne pouvez pas emmener [les stagiaires] dans une usine de fabrication à la légère. [La VR] peut donner [un accès à l'établissement] à [ces] employés… habituer les gens aux dangers [et aux meilleures pratiques]. »

L'exemple de maintenance mentionné ci-dessus est cependant un bon descripteur de l'AR. Imaginez qu'un ingénieur de maintenance porte un casque de sécurité avec un accessoire de type Google Lens. L'affichage peut les notifier qu'une machine sur la ligne de production a besoin de maintenance, les diriger vers l'emplacement de la machine, leur montrer la pièce de la machine qui est cassée, puis superposer une vidéo expliquant comment réparer cette pièce.

La réalité mixte prend le concept de la réalité mélangée de l'AR un peu plus loin et, ce faisant, le combine souvent avec des éléments de VR. Imaginez l'exemple de maintenance AR ci-dessus. Seulement maintenant, l'ingénieur de maintenance travaille depuis chez lui avec des dispositifs d'entrée VR et un casque. Du point de vue de l'ingénieur, il traverse un paysage numérique composé du jumeau numérique de la ligne de production. Pendant ce temps, à la ligne de production physique, un robot contrôlé par cet ingénieur est en train de réparer physiquement une machine.

Défis de la création d'expériences XR industrielles

Avec les termes XR entièrement définis et leur potentiel pour des applications industrielles clair, les développeurs commenceront naturellement à se demander quels défis ils rencontreront lors de la création de ces expériences immersives. Jonathan de Belle, responsable du développement logiciel de l'équipe industrielle chez Unity, explique que son équipe est souvent appelée à aider les clients à adapter leurs données et conceptions pour des applications XR. En conséquence, il connaît les défis XR courants auxquels les développeurs sont confrontés.

Il explique que le premier défi tend à être que les modèles 3D du client sont trop volumineux pour être facilement intégrés dans une expérience numérique. De Belle dit que son équipe travaille souvent avec des « modèles très grands et très détaillés... Le nombre de pièces est énorme et chacune de ces pièces est très détaillée car [nous travaillons avec] des données de fabrication. Ce ne sont pas des données de jeux vidéo traditionnelles.”

Un défi connexe mais différent provient du grand volume de métadonnées liées aux modèles 3D et autres actifs numériques. Des exemples de ces données non géométriques pourraient inclure les propriétés matérielles d'un actif. Dans une expérience XR, ces valeurs peuvent être extraites et ajoutées à l'affichage numérique. Bien que la résistance à la traction d'un actif ne soit pas beaucoup de données, elle est probablement extraite des données de propriétés des matériaux qui couvrent l'ensemble de l'installation — ce qui peut représenter beaucoup de données.

« Vous avez aussi les données non visuelles », convient de Belle. « Vous voulez que ces données soient accessibles dans l'application dans de nombreux cas. Et obtenir ces... informations pertinentes est également un défi car il y en a beaucoup.”

Ce volume de données pose un autre défi : la compatibilité du matériel XR. On ne peut pas dire quel appareil un utilisateur pourrait avoir en accédant à une expérience XR dans la nature. Ainsi, cette vaste quantité de données doit être transférable et compatible avec de nombreux logiciels et matériels, y compris les CPU, GPU et casques hérités.

Par extension, cela signifie également que les développeurs doivent relever le défi de rendre leurs applications XR à l'épreuve du temps. Puisque de nombreux appareils mobiles, comme les téléphones, ont tendance à avoir un renouvellement annuel entre les modèles, il est tout aussi important de s'assurer que l'expérience XR fonctionne sur les futurs appareils ainsi que sur les anciens.

Un autre défi auquel les concepteurs sont confrontés lors de la création de modèles XR pour des applications industrielles est qu'ils ont généralement besoin d'accéder à des jumeaux numériques, des données propriétaires et des informations enfermées dans divers silos de données d'entreprise. Ce problème est aggravé lorsqu'il s'agit de données en temps réel. Puisqu'il est important que le domaine numérique reflète le monde physique, le contrôle de version des actifs 3D et de diverses autres sources de données est critique.

Meilleures pratiques lors de la création d'expériences XR

Bien que les expériences XR soient différentes, Unity a montré que de nombreux défis auxquels les développeurs sont confrontés restent les mêmes. En conséquence, l'entreprise a développé des meilleures pratiques pour relever bon nombre de ces défis.

Demandez-vous, "Quel problème cette expérience XR résout-elle ?"

Glaze note que la première et souvent la plus importante meilleure pratique lors de la création d'applications XR est de comprendre et de définir le cas d'utilisation et les avantages dès le début du développement. Ajouter XR aux flux de travail industriels ne devrait pas consister à sauter sur la dernière tendance technologique. Par exemple, il n'y a aucun avantage à amener chaque réunion dans un environnement XR lorsque un appel vidéo peut suffire. Il n'est pas nécessaire d'imposer des expériences immersives aux utilisateurs à moins que cela ne résolve un problème tangible.

En définissant d'abord le cas d'utilisation et l'avantage d'une application XR, les développeurs peuvent utiliser ces informations pour limiter son périmètre, son budget et son temps de développement. Cela les aide également à limiter bon nombre des défis mentionnés ci-dessus. Une fois que cette expérience XR initiale est terminée, les développeurs peuvent alors chercher à élargir son périmètre ou à en construire une autre.

Les meilleures expériences XR sont adaptées au problème à résoudre

Une fois que les développeurs comprennent le problème que leur expérience XR résout, ils peuvent mieux l'adapter à ce besoin. Par exemple, si l'application est censée :

• Aider les clients à essayer des produits, alors la salle d'exposition ultime est le « jardin » des clients.
• Former les travailleurs de maintenance, alors la salle de formation ultime est votre propre équipement.
• Tester les conceptions de produits, alors le terrain d'essai ultime est l'environnement naturel de votre produit.

Par exemple, Glaze fait référence à un développeur australien qui se concentre sur des expériences de formation VR immersives pour des applications industrielles. Une de ces expériences impliquait de former des travailleurs à réparer des plateformes pétrolières en mer. L'équipement fonctionne 24 heures sur 24 et 7 jours sur 7 et coûte des millions de dollars à arrêter. Pendant ce temps, simuler des scénarios d'urgence sur ces actifs pourrait être dangereux. Par conséquent, il est difficile de former des travailleurs sur l'équipement dans le monde réel.

Pour résoudre ce problème, le développeur a créé des jumeaux numériques personnalisés d'équipements du monde réel et les a intégrés dans des applications XR. Lors de la formation, les employés utilisent maintenant cet outil pour s'exercer à résoudre des problèmes potentiels qui peuvent survenir dans la réalité.

Le développeur a découvert qu'il n'est pas suffisant que ces simulations XR modélisent n'importe quelle plateforme pétrolière ; elles doivent modéliser la plateforme pétrolière sur laquelle l'employé travaille. Sinon, ils peuvent trébucher lors d'un moment crucial en essayant de traduire leurs connaissances de formation à la configuration actuelle de l'équipement.

Utilisez les modèles que vous avez

L'industrie regorge de données, de modèles et de géométrie 3D qui peuvent être utilisés dans des applications XR. Glaze a utilisé l'exemple d'une entreprise développant des manèges et des attractions pour un parc à thème. Des modèles CAO 3D de ces manèges et attractions existent déjà. Ainsi, ils peuvent être utilisés pour accélérer le développement d'applications XR.

Les parcs à thème sont des lieux recherchés, mais tout le monde n'a pas les moyens ou la capacité de les visiter. Cela peut être considéré comme des revenus perdus pour le parc et une opportunité perdue pour les visiteurs potentiels. Au lieu de cela, le parc pourrait créer des expériences immersives en utilisant ses modèles 3D pour atteindre ces fans. Maintenant, plus de gens peuvent accéder à ces attractions, de loin, peu importe leur emplacement physique ou leur condition. Pendant ce temps, le parc crée une nouvelle source de revenus, améliorant le retour sur investissement de ces attractions.

« Vous pouvez tirer parti de ces actifs de nombreuses fois », déclare Glaze. « Ils sont désactivés à ce moment-là d'un point de vue sécurité. Vous n'allez pas inclure l'intégralité de votre modèle CAO. Mais vous pouvez réutiliser ces [modèles désactivés] pour alimenter votre équipe de vente. … Ces [expériences] pourraient être des choses comme … des essayages virtuels, ou vous faites une visite des installations que vous avez créées en utilisant ces [modèles]."

Nettoyez et rationalisez vos données pour travailler en temps réel 3D

Une grande partie des données 3D internes auxquelles les développeurs de l'industrie ont accès se présente sous forme de fichiers CAO. Cela a du sens, car les outils CAO sont conçus pour des flux de travail industriels tels que la conception, le développement et la fabrication de produits. Ces flux de travail nécessitent plus d'informations que ce qui est nécessaire, ou compatible, avec les environnements XR. Mais comme le prétend la meilleure pratique précédente, ces données CAO devraient être mises à profit. De Belle et Maurey-Delaunay expliquent que cette contradiction alimente une autre meilleure pratique de développement XR : rationaliser et simplifier les données.

« Dissociez votre application de vos données, externalisez les données », déclare Maurey-Delaunay. « C'est vraiment important car le prochain matériel qui va sortir, vous pourriez avoir besoin de retravailler les données pour qu'elles s'adaptent aux exigences matérielles de cette plateforme. Si vos données sont intégrées dans votre application, cela va créer beaucoup de travail pour rouvrir le projet [pour ingérer les données]."

La première façon de le faire est de créer des systèmes de chargement hiérarchiques de niveaux de détail (ou LODing), où les caractéristiques d'un objet 3D sont variables. Essentiellement, lorsque l'utilisateur voit un objet de loin, c'est un simple contour du modèle 3D - même si cet objet est composé de milliers de pièces. À mesure que les utilisateurs s'approchent, plus de détails sont dessinés, et plus de modèles sont ajoutés à l'expérience. Finalement, suffisamment de données sont intégrées dans la réalité numérique pour que les utilisateurs puissent zoomer sur des pièces individuelles. De Belle fait référence à cela comme une méthode de streaming de polygones vers la géométrie 3D.

Il explique également que des outils peuvent être utilisés pour extraire des données des modèles CAO afin qu'elles puissent être utilisées dans un environnement plus « gamifié ». Cela a un avantage supplémentaire de protéger la propriété intellectuelle (PI). Ces outils peuvent varier en fonction de la quantité d'un modèle 3D qui est abstraite en fonction du cas d'utilisation XR.

« Cela renvoie à la première [meilleure pratique] », dit de Belle. « Demandez-vous, 'que voulez-vous faire avec ces données et quelles parties des données puis-je simplifier ?' Cela va éliminer les problèmes de sécurité, [réduisant] les fuites de données, mais d'un autre côté, cela va réduire le poids total des données et rendre beaucoup plus facile leur traitement [pour] les intégrer dans une expérience en temps réel. »

Préparer l'avenir pour les nouveaux équipements XR, sources de données et intégrations

Pour optimiser le ROI d'une expérience XR, les développeurs doivent s'assurer qu'ils sont préparés pour l'avenir. Cela signifie non seulement qu'un jumeau numérique dans ces applications doit refléter un actif du monde réel en temps réel, mais cela signifie également que l'application XR elle-même est compatible avec le matériel XR actuel. Pour ce faire, les développeurs doivent s'assurer que leurs données respectent des normes ouvertes. Cela peut être difficile car les normes évoluent toujours et ne sont pas bien définies pour les applications XR.

Pour lutter contre cela, Maurey-Delaunay suggère que des systèmes automatisés sont essentiels. « Avoir de l'intelligence intégrée dans nos outils fait une énorme différence », dit-il. « Ce n'est pas juste une conversion [de modèles 3D], ce sont des conversions dynamiques qui s'adaptent à votre cas d'utilisation... Un assemblage complexe peut voir 60 mises à jour par jour, n'est-ce pas ? Parce qu'il y a 30 personnes qui y travaillent sur différentes parties. Donc, avoir ces automatisations est critique. »

Démarrer petit, puis s'étendre

Une expérience XR ne doit pas englober toute une organisation dès sa sortie. Elle peut, et devrait souvent, commencer petit pour simplifier le développement, réduire les défis et améliorer les intégrations de flux de travail. Il est beaucoup mieux de créer une application XR qui montre à un ingénieur de maintenance comment réparer une pièce plutôt que de ne jamais la publier en raison de l'accroissement des fonctionnalités. Une fois que l'expérience a prouvé sa valeur, elle peut ensuite être étendue à d'autres situations.

Maurey-Delaunay note que cela renvoie encore une fois à la question de ce que l'expérience XR va résoudre, car cela aide à définir son périmètre initial. Il dit : « Il s'agit de trouver ces petits problèmes, de les résoudre et ensuite de s'appuyer sur cela une fois que vous avez prouvé le retour sur investissement de cette solution. Vous vous appuyez sur cela pour aborder de plus en plus de problèmes au sein de l'organisation."

Comment Unity peut aider à créer des expériences XR

Avec l'aide d'Unity, les développeurs peuvent créer des expériences XR industrielles tout en respectant les meilleures pratiques et en limitant les défis courants.

Par exemple, Unity Pixyz peut être un atout précieux pour les développeurs cherchant à intégrer les données 3D de leur organisation dans des applications XR. L'outil est capable d'importer et de convertir des formats de données CAD, BIM, maillage, nuage de points et de nombreux formats de données 3D, de les optimiser et de gérer les métadonnées à l'intérieur pour les rendre adaptés à une utilisation dans des expériences XR. Unity propose également des outils de gestion des actifs, qui facilitent la recherche et l'utilisation de ces données pour permettre aux développeurs de créer des expériences immersives.

En preuve, Glaze cite un exemple de client Unity d'une entreprise de construction japonaise. L'entreprise a numérisé tous ses actifs et conceptions. Toute machine qu'elle utilise ou construit peut être utilisée dans n'importe quelle expérience XR que l'entreprise souhaite créer. Et parce que l'entreprise utilise l'écosystème Unity, ces applications peuvent être déployées à la fois sur des navigateurs web et des applications natives. L'écosystème Unity a également offert une plateforme de bout en bout qui rationalise l'ingestion, le traitement, la préparation et la gestion des actifs 3D de l'entreprise de construction.

« La puissance d'Unity est que nous pouvons vous aider à créer des expériences XR qui fonctionnent sur une tablette ou le dernier casque », dit Glaze, « mais nous vous aidons également à prendre en charge vos appareils hérités, en étendant vos budgets et le besoin de former les employés sur de nouveaux équipements.

Quant à d'autres façons dont Unity peut aider les développeurs à produire des expériences XR, Glaze dit : « Je pense que cela revient à savoir si vous voulez le faire vous-même, ou si vous voulez avoir toute une équipe chez Unity pour s'assurer que vous êtes compatible avec le dernier appareil qui va sortir. Dans certains cas, nous avons même un accès anticipé au matériel, ce qui aide nos utilisateurs à être les premiers à déployer sur la prochaine grande nouveauté... Nous restons également à jour sur les dernières normes ouvertes. Que ce soit le dernier projet open source de Meta, ou des formats de fichiers comme la description de scène universelle (USD). Nous avons les ressources pour pouvoir suivre cela et nous assurer que nos utilisateurs restent aussi à jour que possible.

Unity propose également des ressources éducatives pour aider les développeurs à produire des applications XR industrielles. Ces ressources incluent des formations, du conseil et des forums de discussion communautaires.