Comment l'IA conversationnelle dans les applications industrielles 3D en temps réel peut favoriser des décisions plus rapides et mieux informées entre les équipes
Shanti Zachariah - Unity Technologies
Senior content marketing manager

Cette page a été traduite automatiquement pour faciliter votre expérience. Nous ne pouvons pas garantir l'exactitude ou la fiabilité du contenu traduit. Si vous avez des doutes quant à la qualité de cette traduction, reportez-vous à la version anglaise de la page web.
Cette présentation Unity U/Day Houston est par Matti Gruener, un chercheur du MIT Media Lab.
S'appuyant sur son vaste parcours en effets visuels, en réalité augmentée et sur ses recherches actuelles au MIT Media Lab, Matti Gruener examine l'IA en 3D en temps réel à travers deux prismes : Agents IA qui aident à construire des applications, et qui intègrent l'IA directement dans les applications en cours d'exécution en tant que partenaires interactifs et conversationnels.
Du côté du développement d'applications, l'utilisation d'outils tels que Unity CLI permet aux développeurs de déléguer des tâches complexes de construction et de visualisation directement à des agents IA, au lieu d'ouvrir en permanence l'Éditeur Unity.
Intégrer l'IA conversationnelle en 3D en temps réel crée des systèmes intuitifs qui agissent comme assistants pour les utilisateurs finaux. En intégrant de vastes ensembles de données multidimensionnelles, tels que des décennies de recherches lunaires, des mouvements urbains synthétiques ou des modèles d'extraction minière géologiques – des exemples issus des travaux de Matti Gruener – les utilisateurs peuvent interroger, filtrer et modifier facilement des représentations 3D en langage naturel en temps réel.
Points principaux à retenir
- Matti Gruener donne un aperçu de la manière dont Unity CLI a considérablement accéléré ses flux de travail Unity, lui permettant d'automatiser plusieurs tâches grâce à des agents IA et de vérifier les résultats à l'aide de rapports HTML simples.
- Il passe en revue trois projets exemples clés du MIT Media Lab :
- Une expérience lunaire AR avec la NASA
- Visualisation de bâtiment et de conception urbaine
- Une simulation de mine de lithium
- Chacune de ces trois applications, associée à une IA conversationnelle intégrée, permet à l'utilisateur de demander le filtrage, la modélisation et le rendu de réponses visuelles à travers des invites en langage simple. Un exemple est un utilisateur dans la visualisation de la mine de lithium qui demande à l'IA de générer des géométries de fosse possibles, une planification routière ou des prévisions économiques.
- Un objectif de ses recherches est de développer des architectures spécialisées pour les systèmes d'IA qui doivent fonctionner dans des industries réglementées, avec l'objectif de zéro donnée fabriquée, afin que les utilisateurs puissent faire confiance au résultat et prendre des décisions de haute précision basées sur les données.
- Les assistants d'IA conversationnels peuvent aider à combler les lacunes en matière de connaissances entre les équipes interfonctionnelles, permettant à des parties prenantes diverses, des experts techniques et des membres non techniques d'interpréter des informations spatiales complexes dans le but de prendre des décisions plus efficaces et plus précises.

Transcription complète
Intervenant: Matti Gruener, chercheur, The MIT Media Lab
Notes:
- Ceci est une transcription légèrement éditée d'une présentation enregistrée.
- Iron Man et JARVIS sont utilisés à titre illustratif uniquement. Non affilié ni approuvé par Marvel/Disney.
Introduction
[0:00] Je m'appelle Matti. Je fais actuellement de la recherche au MIT Media Lab. Avant de retourner à l'école et de retourner au MIT, j'ai passé environ 15 ans dans diverses industries, dont environ 10 dans les effets visuels, où j'ai travaillé sur l'un des films de Harry Potter, The Mandalorian, Game of Thrones ; puis j'ai quitté les effets visuels à un moment donné, et j'ai ensuite travaillé dans la technologie de la mode et finalement dans la réalité augmentée et l'intelligence artificielle. Donc, dans le contexte des applications Unity, je veux examiner l'IA sous deux perspectives différentes.
[0:58] La (première perspective) est celle de gauche où l'IA nous aide à construire ces applications. Nous avons donc ces flux de travail agentiques qui construisent des applications et des exécutables pour nous. Et puis l'autre, à droite, consiste à intégrer l'IA dans l'application elle-même. Nous nous concentrerons sur la droite, mais je parlerai de la gauche juste une minute, à propos de ces flux de travail agentiques pour construire des applications pendant une seconde.
Construire des applications avec Unity CLI et des flux de travail agentiques
[1:30] D'accord. Alors j'admets que je suis totalement investi dans l'IA depuis un petit moment. Le MIT est incroyablement occupé. Je dois déléguer autant que possible à mes agents pour traverser la tempête qu'est le MIT certains jours. Et j'ai une autre confession à faire, à savoir que je n'ai presque pas ouvert l'éditeur Unity au cours des derniers mois. Il y a eu une époque où je passais huit heures par jour sur Unity et ces moments semblent avoir disparu. Je ne sais pas si c'était l'effet voulu lorsque Unity a lancé Unity CLI. Mais avec la sortie de CLI, tout naturellement, j'ai arrêté d'ouvrir l'Éditeur.
L'interface en ligne de commande de Unity a fondamentalement changé ma façon d'aborder la création d'applications maintenant.
[2:28] Donc en ce moment, j'instruis mes agents à construire des choses via Unity CLI, et je les instruis aussi à construire ces pages HTML pour fournir une preuve visuelle que la tâche que j'ai assignée a été réellement effectuée. Donc dans ce cas, je ne me concentre pas beaucoup sur le visuel. Je me concentre davantage sur la bonne donnée qui a été collectée, si elle a été placée au bon endroit, si elle a été traitée de la bonne manière ? Et dans ce cas, l'agent a-t-il compris de produire un regroupement autour de ces graphes de nœuds ? Mais ce sont des détails. C'est plus une question de flux de travail et que je ne regarde que des pages HTML ces jours-ci comme sortie pour vérifier que le travail a été fait.
[3:03] Et cela a considérablement accéléré mes flux de travail. Et j'ai constaté que, comme nous l'avons dit plus tôt aujourd'hui, nous sommes devenus plus occupés depuis que nous avons obtenu tous ces outils. Donc, ils n'ont pas rendu la vie moins chargée nécessairement, mais d'une manière ou d'une autre, les gens comme nous finissent par faire plus de choses. Donc dans mon cas, je cours souvent, je ne sais pas, 10 choses en même temps, et ce genre de flux de travail m'a aidé à suivre cela.
[3:32] Avoir ces pages HTML qui ont un contexte sur ce que je faisais à ce moment-là m'aide à réviser après si le travail a réellement été fait. C'était donc plus un exemple procédural, mais j'ai aussi utilisé cela pour faire du travail créatif. Dans ce cas, j'ai des données que j'ai ingérées dans l'une de mes applications Unity et j'essaie de déterminer comment je veux visualiser ces informations.
[3:59] J'ai demandé à mes agents de me donner quelques options sur la façon dont je pourrais faire cela. Et maintenant, je fais juste défiler et je regarde ce que j'aime à ce sujet. Il y a différents schémas de couleurs, c'est une question d'échelle, de savoir si j'utilise des caméras en perspective ou orthographiques. Et je peux simplement parcourir et choisir les choses que j'aime. Et ce que je fais habituellement après avoir fait cela, c'est aussi construire une application interactive qui expose tous ces paramètres avec lesquels je pourrais jouer en tant qu'interface utilisateur au-dessus de l'application.
[4:27] Ainsi, c'est très rapide pour moi de régler l'apparence, par exemple, puis de faire une capture d'écran de l'interface utilisateur, de la renvoyer à mon agent, et de dire à l'agent que c'est mon apparence par défaut à partir de maintenant. Cela a accéléré mon travail énormément.
De Iron Man à l'IA embarquée
Mais je veux changer de sujet une seconde et revenir à ce dont je parlais avant : intégrer l'IA dans les applications Unity. Et pour préparer le terrain à cela, je veux vous ramener 15 ans en arrière.
[4:59] Je vous ai dit que je travaillais dans le cinéma depuis longtemps et il y a 15 ans, je travaillais sur cette séquence. Alors, voici un très court extrait de Iron Man 3. Et c'est un test d'assemblage de combinaison où Tony Stark essaie de comprendre ce nouveau système pour assembler les combinaisons sur son corps. Super séquence. C'est pourquoi je le montre. Mais je le montre aussi parce que Tony a cet agent IA avec lequel il travaille.
[5:31] Je pense qu'Iron Man est probablement l'exemple parfait d'un ingénieur travaillant avec un système assisté par IA qui peut visualiser des informations tout autour de lui pour réaliser ces grandes prouesses d'ingénierie. Et si vous vous souvenez, JARVIS, (l'assistant IA de la franchise) est capable d'apporter toutes ces informations. Il disparaît et exécute des tâches asynchrones, des simulations, des analyses, et ramène cela dans cet environnement XR magique. Mais Tony peut voir toutes ces informations.
[6:00] Il (JARVIS) aide à répondre aux questions et dans ce cas fait beaucoup de commentaires sarcastiques sur les pratiques de sécurité de Tony. Et allons-y. Alors, c'est ça à quoi ça ressemble, n'est-ce pas ? Donc en pratique, il y a des informations autour de ce robot dans ce cas. Et à l'époque où nous avons travaillé sur ce film il y a 15 ans, tout cela était de la science-fiction. Et vous pourriez deviner où je veux en venir.
[6:28] Cela ne ressemble plus à de la science-fiction. Beaucoup de ces choses sont assez réalisables aujourd'hui.
Une démo de données lunaires de la NASA et la réduction des hallucinations de l'IA
[6:34] Je veux vous montrer un projet que j'ai réalisé récemment avec un collègue chercheur au MIT. Ce que vous verrez, c'est moi en train de parler à un agent conversationnel dans un casque de réalité augmentée. Et l'agent apporte les informations sur la lune. Nous avons ingéré quatre décennies de données lunaires dans le système afin de pouvoir poser des questions à ce sujet et de les visualiser directement sur la surface lunaire.
[6:59] Je vais jouer ça. Ce qui suit est un enregistrement audio de la démo que Matti montre au public.
(Matti dans la vidéo): En utilisant les données neutroniques que nous avons sur la lune, pouvons-nous explorer où il pourrait y avoir de l'eau ?
(L'assistant intégré à l'IA dans l'application qui est montré dans la vidéo): Je montre maintenant les données de neutrons, qui varient de 531,52 à 615,83 comptes toutes les 32 secondes. Des comptes de neutrons plus faibles peuvent indiquer la présence d'hydrogène, et donc potentiellement de glace d'eau, à la surface de la lune. J'ai appliqué un gradient thermique dessus.
[7:31] Donc, c'est beaucoup moins sarcastique que JARVIS ne le serait dans la franchise, mais toujours assez utile. Et vous pourriez voir comment cela aide potentiellement les planificateurs de missions ou les éducateurs à interagir avec les données lunaires.
[8:01] Ce que vous venez de voir faisait partie d'une publication que j'ai pu présenter au centre de recherche Ames de la NASA il y a quelques semaines. Et ce que je pense être vraiment important de mentionner, c'est que l'architecture que nous utilisons dans ce système est spécifiquement conçue pour réduire les hallucinations.
[8:31] Alors que nous entrons dans ce monde où nous avons des agents IA dans ces environnements d'exécution 3D très puissants, je veux toujours pouvoir croire mes yeux. Voir, c'est croire. Et je pense spécifiquement avec des systèmes comme celui-ci, cela peut être confus ou mal informer les gens. Et nous faisons de notre mieux pour que cela reste aussi sûr que possible. Dans notre évaluation de ce travail particulier, l'agent n'a jamais montré d'informations fabriquées et a à peine commis des erreurs. Et en général, les temps de réponse étaient vraiment bons. Nous étions donc assez satisfaits de ce système.
[8:59] Je vais vous montrer quelques autres clips. J'ai coupé le son ici pour pouvoir parler par-dessus, mais c'est le même type de configuration. Tu lui parles et il répond. Dans ce cas, je demande de voir les trajectoires de vol de certains engins spatiaux qui ont orbité autour de la lune. Je ne demande pas seulement ce que je veux voir, mais aussi comment je veux le voir. Je demande des couleurs particulières, ce qui est un moyen rapide de se mettre d'accord avec l'agent et de comprendre ce qui est visualisé.
[9:26] Encore une fois, vous pouvez voir à quel point cela pourrait être utile si vous voulez peut-être planifier une mission sur la lune, ou si vous voulez simplement éduquer les gens. Here's another one. Donc, c'est un exemple de moi demandant une modification de la visualisation. Dans ce cas, l'agent avait déjà visualisé tous les niveaux d'altitude sur la lune avec ce gradient. Mais je suis intéressé par des niveaux d'élévation particuliers à quatre kilomètres. Donc, je demande une modification de la visualisation. Et tout cela se passe juste devant moi pendant que je continue à parler au système.
Données urbaines et populations synthétiques
[10:01] Le groupe de recherche dans lequel je suis s'appelle City Science. Nous allons parler d'un projet urbain maintenant. C'est une population synthétique qui se déplace dans ce bâtiment qui n'a jamais été construit. La population est visualisée à l'aide de ces points qui bougent. En utilisant le système où je peux demander des informations de manière conversationnelle, je peux demander à un agent aléatoire d'être visualisé sur la façon dont il se déplace dans le bâtiment.
[10:27] Dans ce cas, je demande juste un au hasard. Mais vous pourriez aussi demander tous les voyages que les étudiants pourraient faire, les étudiants de moins de 25 ans, et les voyages qui se terminent dans un bar. Et cela pourrait vous aider à comprendre pourquoi les ascenseurs sont toujours bondés à 22h00. Ainsi, ce type d'analyse conversationnelle des données nous aide ensuite à améliorer ces bâtiments et à rendre les habitants plus heureux et en meilleure santé dans ces bâtiments parce que nous pouvons analyser plus facilement ce qui ne va pas. Dans notre groupe de recherche, nous faisons beaucoup de travail avec des populations synthétiques et nous apprenons en simulant comment elles interagissent avec leurs environnements.
[11:02] L'intégration d'agents conversationnels, comme ce que je démontre ici, a rendu beaucoup plus rapide pour nous d'interagir ensuite avec ces grands ensembles de données parce que vous pouvez simuler, je ne sais pas, 100 000 de ces agents. Comprendre cela n'est pas si facile.
Voici un autre exemple qui montre bien la nature conversationnelle de ces interactions. Alors je creuse de plus en plus dans cette visualisation. Je peux simplement (donner) des instructions sur où je veux regarder la visualisation dans
[11:33] différentes manières. Mais je peux aussi filtrer et je peux vraiment approfondir, isoler certains espaces dans lesquels les agents se déplacent. Tout cela est fait de manière conversationnelle.
Je suppose que la question est : pourquoi devriez-vous vous en soucier ? Certaines des conversations que j'ai eues aujourd'hui ont un peu indiqué que beaucoup d'entre vous ont de grandes quantités d'informations spatiales que vous pourriez déjà visualiser dans Unity. Et je pense que c'est une excellente façon de donner un sens à ce genre d'informations.
[12:01] La question est, que pourriez-vous faire avec un agent qui sélectionne des informations pour vous au fur et à mesure dont vous en avez besoin dans ces puissants environnements d'exécution 3D ? Pourriez-vous prendre des décisions plus rapidement ? Pourriez-vous prendre de meilleures décisions ? Et peut-être le plus important, pourriez-vous vous mettre d'accord plus rapidement avec d'autres personnes en plaçant cela dans un environnement XR et en le regardant avec plus de personnes, (tout en ayant) un agent qui organise l'environnement et les données que vous souhaitez examiner ?
[12:30] Tout ce que je vous ai montré jusqu'à présent était relativement simple en termes de questions posées. Je demande une visualisation et ensuite la visualisation revient.
Cas d'utilisation de l'extraction et raisonnement multi-étapes
Nous pouvons aussi augmenter un peu cela. C'est un cas d'utilisation minier. Je ne suis pas du tout quelqu'un du secteur minier ou pétrolier et gazier. Alors encore, désolé si j'utilise la mauvaise terminologie. Mais c'est un modèle de bloc synthétique pour un gisement de lithium dans le sous-sol. Et l'idée ici est de choisir un point sur la surface et de demander ce qui se passerait si nous commencions à creuser à cet endroit particulier ?
[12:58] L'agent s'en va ensuite de manière asynchrone, analyse les données, détermine où je veux creuser, et exécute également une simulation de ce à quoi pourrait ressembler la fosse si nous commencions à creuser à cet endroit. Donc, il y a un modèle en arrière-plan qui peut créer ces géométries de coque. Et vous pourriez mettre cela sur des lunettes XR, bien sûr.
[13:25] Alors nous cinq pourrions regarder ça, vous savez, autour de la table. Ceci est un exemple différent où l'agent calcule la forme changeante de la fosse à ciel ouvert. Cela fait des hypothèses sur un modèle économique et sur l'évolution des prix du lithium pour estimer à quoi ressembleraient ces formes de fosse changeantes. Donc encore une fois, ça disparaît, prend cette tâche, puis revient avec une réponse visuelle qui m'aide à comprendre ce que donnerait le résultat de manière très visuelle. Et vous pourriez imaginer brancher ces modèles, brancher des modèles supplémentaires dans ce genre de systèmes.
[14:02] Vous pourriez avoir un modèle qui prédit comment la poussière se déplacerait en fonction des vitesses et des régimes de vent, ou l'agent pourrait suggérer l'emplacement d'un site de résidus et les conséquences sur le plan environnemental, également pour le résultat net des personnes qui se développent sur le site. Et l'agent pourrait vous montrer plusieurs options puis travailler avec vous pour atteindre vos objectifs, quels qu'ils soient, qu'ils soient environnementaux ou économiques.
[14:33] Un intérêt de recherche particulier que j'ai est de travailler sur ces processus de raisonnement multi-étapes dans ces systèmes. Un exemple serait, regardez ceci, vous êtes à cet endroit, c'est là que vous voulez miner. Vous comprenez déjà à quoi ressemblerait le shell, parce que peut-être êtes-vous un ingénieur qui comprend ce genre de choses. Mais pensez à ce que cela ferait pour le placement des routes et comment cela affecterait votre résultat net à la fin.
[14:59] Donc ces sortes de processus de raisonnement multi-étapes où l'agent vous fait passer d'un endroit à un autre et vous montre des choses est un intérêt particulier pour moi et je pense que c'est très important. J'espère que ces exemples aideront à illustrer la puissance des agents conversationnels dans ces environnements. Parce que vous pourriez avoir une expertise dans un domaine particulier et que vous n'avez pas besoin qu'un agent vous dise quelque chose que vous savez déjà. Mais parfois vous travaillez avec ces agents et il y a des choses que vous ne savez pas.
[15:32] Peut-être que vous êtes assez familier avec la modélisation financière, mais vous n'êtes pas familier avec la tâche d'ingénierie ou vice versa. Et lorsque vous prenez des décisions d'ingénierie, vous voudrez peut-être comprendre quelles sont les conséquences en aval sur le plan économique. Si vous repensez à Tony Stark, il possède clairement beaucoup d'expertise dans de nombreux domaines, des niveaux d'expertise irréalistes dans de nombreux domaines. Mais JARVIS est toujours là pour combler les lacunes. Donc JARVIS exécute ces tâches en arrière-plan, apporte des informations et comble tous les angles morts que Tony pourrait avoir. Souvent, ce sont des préoccupations de sécurité dont il n'est pas pleinement conscient ou qu'il ignore tout simplement.
Clôture Objectifs de conception et engagement communautaire
Je crois que nous verrons ces agents conversationnels beaucoup plus dans ces environnements, dans des environnements 3D en temps réel assez puissants. Et idéalement, nous aurions ces trois caractéristiques dans ces systèmes :
[16:29] Nous voulons qu'ils soient puissants et expressifs, et surtout dans les industries réglementées, nous voulons également qu'ils soient sûrs et auditables. Et ensuite, pour les utilisateurs, qu'ils soient internes ou externes, nous voulons que ces systèmes soient rapides et intuitifs. Et comme pour la plupart des choses, si vous construisez ces systèmes de manière naïve, vous pourriez obtenir deux sur trois ou peut-être juste un sur trois. Donc, je pense qu'il y a un peu plus de recherche nécessaire pour que cela reste spécifiquement sûr et auditable.
[17:01] Mais je pense que si on réussit cela, ce sera assez incroyable. Imaginez donc que vous puissiez venir à un système, poser toutes les questions sur vos données, obtenir des réponses visuelles, avoir un système qui vous aide à filtrer et à vous concentrer sur les données et qui vous explique les données. Je me sens assez encouragé à construire ce genre de systèmes parce que je pense qu'ils seront incroyablement puissants. Vous pourriez penser à intégrer un nouveau collègue à un projet de construction qui existe déjà.
[17:29] Trouver des solutions innovantes aux côtés d'un partenaire IA ou réunir différents acteurs autour de la même table et prendre des décisions ensemble et s'assurer que tout le monde est d'accord. Et sur cette note, ce que nous avons également fait, c'est intégrer ce genre de systèmes dans les plateformes d'engagement communautaire. Donc, dans notre groupe de recherche, nous avons beaucoup d'expertise en ce qui concerne l'engagement du public afin que certains projets puissent avancer. Mais il y a beaucoup de résistance actuellement en ce qui concerne certains projets de construction.
[18:00] Et nous espérons qu'avec ce type de système particulier, nous pouvons amener les gens à se rassembler et à parvenir à un consensus plus rapidement. Parce que beaucoup des gens qui viennent à ce genre de réunions ne savent pas lire un plan CAO. Mais si vous pouvez leur expliquer cela et avoir un système personnalisé qui explique la situation et comment elle affecte leur situation personnelle dans la vie, nous espérons que cela mettra les gens sur la même longueur d'onde plus rapidement. Donc avec cela, comme vous pouvez l'imaginer, nous n'aurions fait qu'effleurer la surface.


