Cómo la IA conversacional en aplicaciones industriales 3D en tiempo real puede impulsar decisiones más rápidas y mejor fundamentadas en todos los equipos.
Shanti Zachariah - Unity Technologies
Senior content marketing manager

Para tu comodidad, tradujimos esta página mediante traducción automática. No podemos garantizar la precisión ni la confiabilidad del contenido traducido. Si tienes alguna duda sobre la precisión del contenido traducido, consulta la versión oficial en inglés de la página web.
Esta presentación de Unity U/Day Houston corre a cargo de Matti Gruener, investigador del MIT Media Lab .
Basándose en su dilatada experiencia en efectos visuales, realidad aumentada e investigación actual en el MIT Media Lab, Matti Gruener examina la IA en 3D en tiempo real desde dos perspectivas: Agentes de IA que ayudan a crear aplicaciones e integran la IA directamente en las aplicaciones en tiempo de ejecución como interlocutores interactivos y conversacionales.
En lo que respecta al desarrollo de aplicaciones, la utilización de herramientas como Unity CLI permite a los desarrolladores delegar tareas complejas de compilación y visualización directamente a agentes de IA, en lugar de tener que abrir continuamente el Editor de Unity .
La integración de la IA conversacional en 3D en tiempo real crea sistemas intuitivos que actúan como asistentes para los usuarios finales. Mediante la integración de grandes conjuntos de datos multidimensionales, como décadas de investigación lunar, movimientos urbanos sintéticos o modelos geológicos de minería (ejemplos del trabajo de Matti Gruener), los usuarios pueden consultar, filtrar y modificar fácilmente representaciones 3D mediante lenguaje natural en tiempo real.
Conclusiones clave
- Matti Gruener ofrece una visión general de cómo Unity CLI ha acelerado significativamente sus flujos de trabajo en Unity , permitiéndole automatizar múltiples tareas mediante agentes de IA y verificar los resultados utilizando informes HTML sencillos.
- Repasa tres ejemplos clave de proyectos del MIT Media Lab:
- Una experiencia lunar de realidad aumentada junto con la NASA.
- Visualización de diseño arquitectónico y urbano.
- Una simulación de una mina de litio
- Cada una de estas tres aplicaciones, junto con la IA conversacional integrada, permite al usuario solicitar el filtrado, el modelado y la representación de respuestas visuales mediante indicaciones en lenguaje sencillo. Un ejemplo es el de un usuario en la visualización de la mina de litio que solicita a la IA que genere posibles geometrías de la mina, planificación de carreteras o previsiones económicas.
- Uno de los objetivos de su investigación es desarrollar arquitecturas especializadas para sistemas de IA que necesitan operar en industrias reguladas, con el fin de eliminar los datos falsificados, de modo que los usuarios puedan confiar en los resultados y tomar decisiones de alta precisión basadas en datos.
- Los asistentes de IA conversacional pueden ayudar a superar las brechas de conocimiento entre equipos multifuncionales, permitiendo que diversos interesados, expertos técnicos y miembros no técnicos interpreten información espacial compleja con el objetivo de tomar decisiones más eficientes y precisas.

Transcripción completa
Vocero: Matti Gruener, investigador del Laboratorio de Medios del MIT
Notas:
- Esta es una transcripción ligeramente editada de una presentación grabada.
- Iron Man y JARVIS se utilizan únicamente con fines ilustrativos. No está afiliado ni respaldado por Marvel/Disney.
Introducción
[0:00] Mi nombre es Matti. Actualmente realizo investigaciones en el MIT Media Lab. Antes de volver a estudiar y regresar al MIT, pasé unos 15 años en diversas industrias, unos 10 de ellos en efectos visuales, donde trabajé en una de las películas de Harry Potter , The Mandalorian y Juego de Tronos ; luego dejé los efectos visuales en algún momento y pasé a la tecnología de la moda y, finalmente, a la realidad aumentada y la inteligencia artificial. Así pues, en el contexto de las aplicaciones de Unity , quiero analizar la IA desde dos perspectivas diferentes.
[0:58] La (primera perspectiva) es la de la izquierda donde la IA nos ayuda a construir estas aplicaciones. Así pues, disponemos de estos flujos de trabajo basados en agentes que crean aplicaciones y archivos ejecutables para nosotros. Y la otra, la de la derecha, consiste en integrar la IA en la propia aplicación. Nos centraremos en la derecha, pero hablaré brevemente de la izquierda, de estos flujos de trabajo basados en agentes para crear aplicaciones.
Creación de aplicaciones con Unity CLI y flujos de trabajo basados en agentes.
[1:30] De acuerdo. Así que admito que llevo un tiempo totalmente inmerso en la inteligencia artificial. El MIT está increíblemente ocupado. Tengo que delegar todo lo que pueda en mis agentes para poder sobrellevar la tormenta que supone el MIT en ciertos días. Y tengo otra confesión que hacer: apenas he abierto el editor de Unity en los últimos dos meses. Hubo un tiempo en el que pasaba ocho horas al día en Unity , pero parece que esos tiempos ya pasaron. No sé si ese era el efecto previsto cuando Unity lanzó Unity CLI. Pero con el lanzamiento de la interfaz de línea de comandos (CLI), de forma bastante natural, simplemente dejé de abrir el editor.
Unity CLI ha cambiado radicalmente mi forma de abordar el desarrollo de aplicaciones.
[2:28] Así que ahora mismo, les indico a mis agentes que construyan cosas a través de Unity CLI, y luego también les indico que construyan estas páginas HTML para proporcionar una prueba visual de que la tarea que les asigné realmente se realizó. En este caso, no me centro mucho en lo visual. Me centro más en si se recogieron los datos correctos, si se colocaron en el lugar correcto y si se trataron de la manera correcta. Y en este caso, ¿entendía el agente que debía generar agrupaciones alrededor de estos grafos de nodos? Pero esos son detalles. Se trata más bien del flujo de trabajo y de que actualmente solo reviso las páginas HTML como resultado para verificar que el trabajo se haya realizado correctamente.
[3:03] Y esto ha acelerado bastante mis flujos de trabajo. Y he comprobado que, como ya comentamos hoy, estamos más ocupados desde que tenemos todas estas herramientas. Así que no es que hayan hecho que la vida sea menos ajetreada necesariamente, sino que, de alguna manera, las personas como nosotros terminamos haciendo más cosas. En mi caso, suelo ejecutar, no sé, 10 cosas al mismo tiempo, y este tipo de flujo de trabajo me ha ayudado a llevar un control de todo.
[3:32] Tener estas páginas HTML que tienen contexto sobre lo que estaba haciendo en ese momento me ayuda a revisar después si el trabajo realmente se ha hecho. Este fue más bien un ejemplo de procedimiento, pero también lo utilicé para realizar trabajos creativos. En este caso, tengo datos que he introducido en una de mis aplicaciones de Unity y estoy intentando averiguar cómo quiero visualizar esa información.
[3:59] Instruí a mis agentes para que me dieran algunas opciones sobre cómo podría hacerlo. Y ahora simplemente navego por la página y miro qué es lo que me gusta. Hay diferentes combinaciones de colores, se trata de la escala, de si uso cámaras de perspectiva u ortográficas. Y puedo simplemente revisar y elegir las cosas que me gustan. Y lo que suelo hacer después, una vez hecho esto, es crear también una aplicación interactiva que exponga todos estos parámetros con los que podría querer experimentar como interfaz de usuario sobre la aplicación.
[4:27] Eso me permite configurar el aspecto muy rápidamente, por ejemplo, y luego tomar una captura de pantalla de la interfaz de usuario, enviársela a mi agente y luego decirle al agente que este será mi aspecto predeterminado de ahora en adelante. Eso ha acelerado enormemente mi trabajo.
De Iron Man a la IA integrada
Pero quiero cambiar de tema por un momento y volver a lo que estaba comentando antes: la integración de la IA en las aplicaciones de Unity . Y para preparar el terreno, quiero remontarme 15 años atrás.
[4:59] Te dije que estuve trabajando en el cine durante mucho tiempo y hace 15 años estaba trabajando en esta secuencia. Este es un breve fragmento de Iron Man 3 . Se trata de una prueba de ensamblaje de trajes en la que Tony Stark intenta descifrar este nuevo sistema para ensamblar los trajes sobre su cuerpo. Gran secuencia. Por eso lo estoy mostrando. Pero también lo muestro porque Tony tiene un agente de IA con el que está trabajando.
[5:31] Creo que Iron Man es probablemente el mejor ejemplo de un ingeniero que trabaja con un sistema asistido por IA que puede visualizar información a su alrededor para lograr estas grandes hazañas de ingeniería. Y si recuerdan, JARVIS (el asistente de IA de la franquicia) es capaz de recopilar toda esta información. Se retira y ejecuta tareas asíncronas, simulaciones y análisis, para luego traerlos de vuelta a este mágico entorno XR . Pero Tony puede ver toda esa información.
[6:00] (JARVIS) ayuda a responder preguntas y en este caso hace muchos comentarios sarcásticos sobre las prácticas de seguridad de Tony. Y vamos a esto. Así es como se ve, ¿verdad? En la práctica, en este caso, hay información por todas partes alrededor de este robot. Y en aquel entonces, cuando trabajamos en esta película hace 15 años, todo esto era ciencia ficción. Y probablemente ya te estés imaginando a dónde quiero llegar con esto.
[6:28] Ya no parece ciencia ficción. Muchas de estas cosas son perfectamente factibles hoy en día.
Una demostración de datos lunares de la NASA y la reducción de las alucinaciones provocadas por la IA.
[6:34] Quiero mostrarles un proyecto que realicé recientemente con un colega investigador del MIT. Lo que verán es una conversación que mantengo con un agente virtual a través de unas gafas de realidad aumentada. Y el agente trae la información sobre la luna. Hemos incorporado al sistema cuatro décadas de datos lunares para poder formular preguntas sobre ellos y visualizarlos directamente en la superficie lunar.
[6:59] Yo la tocaré. A continuación se reproduce el audio de la demostración que Matti muestra al público.
(Matti en el video) : Utilizando los datos de neutrones que tenemos de la Luna, ¿podemos explorar dónde podría haber agua?
(El asistente de IA integrado en la aplicación que se muestra en el vídeo) : A continuación, muestro los datos de neutrones, que oscilan entre 531,52 y 615,83 recuentos por cada 32 segundos. Un menor número de neutrones puede indicar la presencia de hidrógeno y, por lo tanto, potencialmente de hielo de agua, en la superficie de la Luna. Le he aplicado un gradiente térmico.
[7:31] Así que esto es mucho menos sarcástico de lo que JARVIS sería en la franquicia, pero aún así es bastante útil. Y se puede apreciar cómo esto podría ayudar a los planificadores de misiones o a los educadores a interactuar con los datos lunares.
[8:01] Lo que acaban de ver forma parte de una publicación que pude presentar en el Centro de Investigación Ames de la NASA hace un par de semanas. Y lo que creo que es realmente importante mencionar es que la arquitectura que utilizamos en este sistema está diseñada específicamente para reducir las alucinaciones.
[8:31] Al entrar en este mundo donde tenemos agentes de IA en estos entornos de ejecución 3D tan potentes, todavía quiero poder creer lo que ven mis ojos. Ver para creer. Y creo que, precisamente con sistemas como este, se puede confundir o desinformar a la gente. Y estamos haciendo todo lo posible para que esto sea lo más seguro posible. En nuestra evaluación de este trabajo en particular, el agente nunca mostró información falsificada y apenas cometió errores. Y, en general, los tiempos de respuesta fueron realmente buenos. Así que estábamos bastante satisfechos con este sistema.
[8:59] Les mostraré algunos clips más. Desactivé el audio para poder hablar por encima, pero la configuración es la misma. Solo tienes que hablarle y te responde. En este caso, solicito ver las trayectorias de vuelo de ciertas naves espaciales que han orbitado la luna. No solo pido lo que quiero ver, sino también cómo quiero verlo. Estoy solicitando colores específicos, lo cual es una forma rápida de ponernos de acuerdo con el agente y comprender lo que se está visualizando.
[9:26] Una vez más, puedes ver cómo esto podría ser útil si quieres planificar una misión a la luna, o si simplemente quieres educar a la gente. Aquí hay otro. Este es un ejemplo de cómo solicito una modificación de la visualización. En este caso, el agente ya había visualizado todos los niveles de elevación de la luna con este gradiente. Pero me interesan los niveles de elevación específicos a cuatro kilómetros. Por lo tanto, solicito una modificación en la visualización. Y todo esto sucede justo delante de mí mientras sigo hablando con el sistema.
Datos urbanos y poblaciones sintéticas
[10:01] El grupo de investigación al que pertenezco se llama City Science. Ahora hablaremos de un proyecto urbano. Se trata de una población sintética que se mueve por este edificio que nunca se construyó. La población se visualiza mediante estos puntos que se mueven. Utilizando el sistema, que me permite solicitar información de forma conversacional, puedo pedir que se visualice cómo se mueve un agente aleatorio por el edificio.
[10:27] En este caso, simplemente pido uno al azar. Pero también podrías preguntar por todos los viajes que puedan hacer los estudiantes, los estudiantes menores de 25 años y los viajes que terminen en un bar. Y eso podría ayudarte a entender por qué los ascensores siempre están llenos a las 10:00 de la noche. Este tipo de análisis de datos, que se realiza de forma conversacional, nos ayuda a mejorar estos edificios y a hacer que sus habitantes sean más felices y saludables, porque podemos analizar más fácilmente qué está fallando. En nuestro grupo de investigación, trabajamos mucho con poblaciones sintéticas y aprendemos simulando cómo interactúan con su entorno.
[11:02] La incorporación de agentes conversacionales, como lo que estoy demostrando aquí, nos ha permitido interactuar mucho más rápido con estos grandes conjuntos de datos porque se podrían simular, no sé, 100.000 de estos agentes. Darle sentido a eso no es tan fácil.
Aquí tenemos otro ejemplo que muestra muy bien la naturaleza conversacional de estas interacciones. Así que estoy profundizando cada vez más en esta visualización. Puedo simplemente (dar) instrucciones sobre dónde quiero ver la visualización en
[11:33] diferentes maneras. Pero también puedo filtrar y profundizar, aislar ciertos espacios en los que se mueven los agentes. Todo eso se hace de forma conversacional.
Supongo que la pregunta es, ¿por qué debería importarte todo esto? Algunas de las conversaciones que he tenido hoy ya indican que muchos de ustedes tienen grandes cantidades de información espacial que quizás ya visualizan en Unity. Y creo que esta podría ser una excelente manera de dar sentido a ese tipo de información.
[12:01] La pregunta es, ¿qué podrías hacer con un agente que seleccione la información que necesitas dentro de estos potentes entornos de ejecución 3D ? ¿Podrías tomar decisiones más rápido? ¿Podrías tomar mejores decisiones? Y, tal vez lo más importante, ¿podrías ponerte en sintonía con otras personas más rápidamente al colocar esto en un entorno XR y verlo con más personas, (mientras) un agente gestiona el entorno y los datos que quieres ver?
[12:30] Todo lo que les he mostrado hasta ahora fue relativamente sencillo en términos de las preguntas que se hicieron. Estoy solicitando una visualización y luego la visualización regresa.
Caso de uso en minería y razonamiento en múltiples pasos
También podemos aumentar un poco la intensidad. Este es un caso de uso en minería. No tengo ninguna relación con la minería ni con el sector del petróleo y el gas. Así que, de nuevo, disculpen si utilizo la terminología incorrecta. Pero este es un modelo de bloque sintético para un yacimiento de litio en el subsuelo. La idea es elegir un punto en la superficie y preguntarnos: ¿qué pasaría si empezáramos a excavar en ese lugar en particular?
[12:58] El agente se va de manera asíncrona, analiza los datos, determina dónde quiero excavar y también ejecuta una simulación de cómo podría verse el pozo que emergería si comenzáramos a excavar en este lugar. Así pues, cuenta con un modelo subyacente que puede crear estas geometrías de capa. Y, por supuesto, también se podría usar con gafas XR .
[13:25] Entonces cinco de nosotros podríamos mirarlo, ya sabes, alrededor de la mesa. Este es un ejemplo diferente en el que el agente calcula la forma cambiante de la mina a cielo abierto. Se basa en suposiciones sobre un modelo económico y la variación de los precios del litio para estimar cómo serían estas formas cambiantes de los pozos. Así que, de nuevo, se va, toma esta tarea y luego regresa con una respuesta visual que me ayuda a comprender cuál sería el resultado de una manera muy visual. Y uno podría imaginarse conectando estos modelos, conectando modelos adicionales a este tipo de sistemas.
[14:02] Podrías tener un modelo que prediga cómo se movería el polvo en función de las velocidades y patrones del viento, o el agente podría sugerir la ubicación de un sitio de relaves y las consecuencias en el lado ambiental, también para el resultado final de las personas que se desarrollen en el sitio. Y el agente podría mostrarle varias opciones y luego trabajar con usted para alcanzar sus objetivos, cualesquiera que sean, ya sean medioambientales o económicos.
[14:33] Un interés particular de mi investigación es trabajar en estos procesos de razonamiento de múltiples pasos en estos sistemas. Un ejemplo sería: mira esto, estás en este lugar, aquí es donde quieres extraer el mineral. Ya sabes cómo sería la carcasa, porque quizás eres un ingeniero que entiende este tipo de cosas. Pero piense en las consecuencias que eso tendría para la planificación de las carreteras y cómo afectaría a sus resultados finales.
[14:59] Así que este tipo de procesos de razonamiento de varios pasos en los que el agente te lleva de un lugar a otro y te muestra cosas es un interés particular mío y creo que es muy importante. Espero que estos ejemplos ayuden a ilustrar lo poderosos que podrían ser los agentes conversacionales en estos entornos. Porque usted puede tener experiencia en un área en particular y no necesita que un agente le diga algo que ya sabe. Pero a veces trabajas con estos agentes y hay cosas que desconoces.
[15:32] Tal vez estés bastante familiarizado con el modelado financiero, pero no con la tarea de ingeniería o viceversa. Y al tomar decisiones de ingeniería, conviene comprender cuáles son las repercusiones económicas a largo plazo. Si recuerdas a Tony Stark, está claro que tiene mucha experiencia en muchas áreas, niveles de experiencia poco realistas en muchas áreas. Pero JARVIS sigue ahí para llenar los vacíos. Así pues, JARVIS ejecuta estas tareas en segundo plano, recopila información y cubre todos los puntos ciegos que Tony pueda tener. A menudo, se trata de problemas de seguridad de los que no es plenamente consciente o que simplemente ignora.
Cierre: Objetivos de diseño y participación comunitaria
Creo que veremos mucho más a estos agentes conversacionales en estos entornos, en entornos 3D en tiempo real bastante potentes. Lo ideal sería que estos sistemas tuvieran estas tres características:
[16:29] Queremos que sean potentes y expresivos, y especialmente en las industrias reguladas, también queremos que sean seguros y auditables. Y para los usuarios, ya sean internos o externos, queremos que estos sistemas sean rápidos e intuitivos. Y como ocurre con la mayoría de las cosas, si construyes estos sistemas de forma ingenua, puede que consigas dos de tres o quizás solo uno de tres. Por lo tanto, creo que se necesita un poco más de investigación para garantizar que esto sea específicamente seguro y auditable.
[17:01] Pero creo que si lo hacemos bien, será algo realmente asombroso. Imagínese que puede acceder a un sistema, hacer todas las preguntas sobre sus datos, obtener respuestas visuales, contar con un sistema que le ayude a filtrar y centrarse en los datos y que además se los explique. Me siento muy motivado para construir este tipo de sistemas porque creo que serán increíblemente potentes. Podrías considerar la posibilidad de incorporar a un nuevo compañero a un proyecto de construcción que ya esté en marcha.
[17:29] Encontrar soluciones innovadoras junto con un socio de IA o reunir a diferentes partes interesadas en torno a la misma mesa y tomar decisiones en conjunto y lograr que todos estén en sintonía. Y en ese sentido, lo que también hemos hecho ahora es integrar este tipo de sistemas en plataformas de participación comunitaria. En nuestro grupo de investigación, contamos con una amplia experiencia en lo que respecta a la participación ciudadana para que determinados proyectos puedan salir adelante. Pero actualmente existe mucha resistencia en lo que respecta a ciertos proyectos de construcción.
[18:00] Y esperamos que con este tipo de sistema en particular, podamos lograr que la gente se una y genere consenso más rápidamente. Porque muchas de las personas que asisten a este tipo de reuniones no saben interpretar un dibujo CAD. Pero si se les puede explicar esto y se cuenta con un sistema personalizado que les aclare la situación y cómo afecta a su vida personal, esperamos que así logren que todos se pongan de acuerdo más rápidamente. Como podéis imaginar, con esto solo hemos arañado la superficie.


