Como a IA conversacional em aplicações industriais 3D em tempo real pode impulsionar decisões mais rápidas e bem informadas em todas as equipes

Nov 20, 2026|10 Min

Shanti Zachariah - Unity Technologies

Senior content marketing manager

Matti Gruener, pesquisador, o MIT Media Lab

Esta página da Web foi automaticamente traduzida para sua conveniência. Não podemos garantir a precisão ou a confiabilidade do conteúdo traduzido. Se tiver dúvidas sobre a precisão do conteúdo traduzido, consulte a versão oficial em inglês da página da Web.

Esta apresentação da Unity U/Day Houston é de Matti Gruener, um pesquisador do MIT Media Lab.

Com base em sua vasta experiência em efeitos visuais, realidade aumentada e pesquisa atual no MIT Media Lab, Matti Gruener examina a IA em 3D em tempo real através de duas lentes: Agentes de IA que auxiliam na construção de aplicações e incorporam IA diretamente em aplicações de tempo de execução como parceiros interativos e conversacionais.

No lado do desenvolvimento de aplicações, utilizar ferramentas como Unity CLI permite que os desenvolvedores deleguem tarefas complexas de construção e visualização diretamente a agentes de IA, em vez de abrir o Unity Editor continuamente.

Incorporar IA conversacional em 3D em tempo real cria sistemas intuitivos que atuam como assistentes para os usuários finais. Ao integrar grandes conjuntos de dados multidimensionais, como décadas de pesquisa lunar, movimento urbano sintético ou modelos de mineração geológica – exemplos do trabalho de Matti Gruener – os usuários podem consultar, filtrar e modificar representações 3D facilmente através de linguagem natural em tempo real.

Principais conclusões

  • Matti Gruener faz uma visão geral de como o Unity CLI acelerou significativamente seus fluxos de trabalho Unity, permitindo-lhe automatizar múltiplas tarefas através de agentes de IA e verificar saídas usando relatórios HTML simples.
  • Ele passa por três projetos de exemplo chave do MIT Media Lab:
    • Uma experiência lunar AR junto com a NASA
    • Visualização de design de edifícios e urbano
    • Uma simulação de mina de lítio
  • Cada uma destas três aplicações, juntamente com IA conversacional incorporada, capacita o utilizador a pedir filtragem, modelagem e renderização de respostas visuais através de comandos em linguagem simples. Um exemplo é um usuário na visualização da mina de lítio que solicita que a IA gere geometrias de poço possíveis, planejamento de estradas ou previsões econômicas.
  • Um objetivo de sua pesquisa é desenvolver arquiteturas especializadas para sistemas de IA que precisam operar em indústrias regulamentadas, com o objetivo de dados fabricados zero, para que os usuários possam confiar na saída e tomar decisões de alta precisão e orientadas por dados.
  • Assistentes de IA conversacional podem ajudar a preencher lacunas de conhecimento entre equipes multifuncionais, permitindo que diversos stakeholders, especialistas técnicos e membros não técnicos interpretem informações espaciais complexas com o objetivo de impulsionar decisões mais eficientes e precisas.
IA conversacional em 3D em tempo real

Transcrição completa

Palestrante: Matti Gruener, pesquisador, The MIT Media Lab

Notas:

  • Esta é uma transcrição levemente editada de uma apresentação gravada.
  • Homem de Ferro e JARVIS são usados apenas para fins ilustrativos. Não afiliado ou endossado pela Marvel/Disney.

Introdução

[0:00] Meu nome é Matti. Atualmente faço pesquisa no MIT Media Lab. Antes de voltar à escola e voltar ao MIT, passei cerca de 15 anos em indústrias variadas, cerca de 10 em efeitos visuais, onde trabalhei em um dos filmes de Harry Potter, The Mandalorian, Game of Thrones; depois deixei os efeitos visuais em algum momento, e depois estive em tecnologia da moda e eventualmente em realidade aumentada e inteligência artificial. Então, no contexto de aplicações Unity, eu quero olhar para a IA de duas perspectivas diferentes.

[0:58] A (primeira perspectiva) é a da esquerda, onde a IA nos ajuda a construir esses aplicativos. Então nós temos esses fluxos de trabalho agenticos que constroem aplicações e executáveis para nós. E então o outro, à direita, é incorporar IA na própria aplicação. Nós focaremos no direito, mas falarei sobre o esquerdo por um minuto, sobre esses fluxos de trabalho agentivos para construir aplicações por um segundo.

Construindo aplicações com Unity CLI e fluxos de trabalho agenticos

[1:30] Ok. Então eu admito que estive totalmente focado em IA por um tempo. O MIT está muito ocupado. Tenho que delegar o máximo possível aos meus agentes para passar pela tempestade que é o MIT em certos dias. E eu tenho outra confissão a fazer, que é que mal abri o Unity Editor nos últimos meses. Então houve uma época em que eu passava oito horas por dia no Unity e esses tempos parecem ter desaparecido. Não sei se esse foi o efeito pretendido quando a Unity lançou o Unity CLI. Mas com o lançamento do CLI, simplesmente naturalmente, eu parei de abrir o Editor.

A CLI do Unity mudou fundamentalmente a forma como eu abordo a construção de aplicações agora.

[2:28] Então, agora eu instruo meus agentes a construir coisas através do Unity CLI, e também os instruo a construir estas páginas HTML para fornecer prova visual de que a tarefa que eu atribuí foi realmente feita. Então, neste caso, eu não me concentro muito nos visuais. Eu me concentro mais se os dados certos foram coletados, se foram colocados no lugar certo, se foram tratados da maneira certa? E neste caso, o agente entendeu produzir massas em torno desses gráficos de nós? Mas esses são detalhes. É mais sobre o fluxo de trabalho e que eu só estou olhando páginas HTML ultimamente como saída para verificar que o trabalho foi feito.

[3:03] E isso acelerou meus fluxos de trabalho bastante. E descobri que, como dissemos mais cedo hoje, ficamos mais ocupados desde que obtivemos todas essas ferramentas. Então eles não tornaram a vida menos agitada necessariamente, mas de alguma forma as pessoas como nós acabam fazendo mais coisas. Então, no meu caso, eu frequentemente corro, eu não sei, 10 coisas ao mesmo tempo, e esse tipo de fluxo de trabalho me ajudou a acompanhar isso.

[3:32] Ter estas páginas HTML que têm contexto sobre o que eu estava fazendo na época ajuda-me a rever depois se o trabalho foi realmente feito. Então este foi mais um exemplo processual, mas eu também usei isso para fazer trabalhos criativos. Neste caso, eu tenho dados que ingeri em um dos meus aplicativos Unity e estou tentando descobrir como quero visualizar essa informação.

[3:59] Eu instruí meus agentes a me dar algumas opções de como eu poderia fazer isso. E agora eu apenas rolo e olho o que eu gosto nele. Existem diferentes esquemas de cores, é sobre escala, sobre se eu uso câmeras de perspectiva ou ortográficas. E eu posso simplesmente passar e escolher as coisas que eu gosto. E o que eu costumo fazer depois disso é também construir uma aplicação interativa que expõe todos esses parâmetros com os quais eu possa brincar como interface do usuário sobre a aplicação.

[4:27] Então, isso torna muito rápido para mim ajustar a aparência, por exemplo, e depois tirar uma captura de tela da interface do usuário, passar isso de volta para o meu agente e depois dizer ao agente que esta é a minha aparência padrão a partir de agora. Isso acelerou meu trabalho tremendamente.

De Homem de Ferro a IA embarcada

Mas eu quero mudar de assunto por um segundo e voltar ao que eu estava falando antes: incorporar IA em aplicações Unity. E para preparar o cenário para isso, quero levar vocês 15 anos para trás.

[4:59] Eu disse que eu trabalhava no cinema por muito tempo e há 15 anos eu estava trabalhando nesta sequência. Então este é um clipe muito curto de Iron Man 3. E é um teste de montagem de traje onde Tony Stark está tentando descobrir este novo sistema para montar os trajes em seu corpo. Ótima sequência. É por isso que estou mostrando. Mas eu também estou mostrando porque o Tony tem este agente de IA com quem ele está trabalhando.

[5:31] Eu acho que o Homem de Ferro é provavelmente o principal exemplo de um engenheiro trabalhando com um sistema assistido por IA que pode visualizar informações ao seu redor para alcançar essas grandes façanhas de engenharia. E se você se lembrar, JARVIS, (o assistente de IA da franquia) é capaz de trazer todas essas informações. Ele vai embora e executa tarefas assíncronas, simulações, análises e traz isso de volta para este ambiente XR mágico. Mas Tony pode ver todas essas informações.

[6:00] Ele (JARVIS) ajuda a responder perguntas e, neste caso, faz muitos comentários sarcásticos sobre as práticas de segurança do Tony. E vamos para isto. Então é assim que isso parece, certo? Então, na prática, há informações ao redor deste robô neste caso. E naquela época, quando trabalhamos neste filme há 15 anos, tudo isso era ficção científica. E você pode estar adivinhando para onde estou indo com isso.

[6:28] Não parece mais ficção científica. Muita dessas coisas é bastante viável hoje.

Uma demonstração de dados lunares da NASA e a redução de alucinações de IA

[6:34] Eu quero mostrar a você um projeto que fiz recentemente com um colega pesquisador do MIT. O que você verá é eu conversando com um agente conversacional em um headset de realidade aumentada. E o agente traz a informação sobre a lua. Nós ingerimos quatro décadas de dados lunares no sistema para que possamos fazer perguntas sobre eles e visualizá-los diretamente na superfície lunar.

[6:59] Eu vou tocar isso. O seguinte é áudio da demonstração que Matti mostra ao público.

(Matti no vídeo): Usando os dados de nêutrons que temos sobre a lua, podemos explorar onde pode haver água?

(O assistente embutido de IA no aplicativo que está sendo mostrado no vídeo): Estou mostrando agora os dados de nêutrons, que variam de 531,52 a 615,83 contagens a cada 32 segundos. Contagens de nêutrons mais baixas podem indicar a presença de hidrogênio, e, portanto, potencialmente gelo de água, na superfície da lua. Apliquei um gradiente térmico nele.

[7:31] Então, isso é muito menos sarcástico do que o JARVIS seria na franquia, mas ainda muito útil. E você poderia ver como isso potencialmente ajuda planejadores de missões ou educadores a interagir com dados lunares.

[8:01] O que você acabou de ver fazia parte de uma publicação que consegui apresentar no Ames Research Center da NASA há algumas semanas. E o que eu acho realmente importante mencionar é que a arquitetura que usamos neste sistema é especificamente projetada para reduzir alucinações.

[8:31] Ao entrarmos neste mundo onde temos agentes de IA nestes *runtimes* 3D muito poderosos, ainda quero poder acreditar no que vejo. Ver é crer. E eu acho que especificamente com sistemas como este, pode ser confuso ou desinformar as pessoas. E estamos fazendo o nosso melhor para manter isto o mais seguro possível. Em nossa avaliação deste trabalho em particular, o agente nunca mostrou nenhuma informação fabricada e mal cometeu erros. E, em geral, os tempos de resposta foram muito bons. Então estávamos bastante satisfeitos com este sistema.

[8:59] Vou mostrar mais alguns clipes. Desliguei o áudio aqui para poder falar por cima, mas é o mesmo tipo de configuração. Você apenas fala com ele e ele responde. Neste caso, estou pedindo para ver as trajetórias de voo de certas espaçonaves que orbitaram a lua. Eu não estou apenas pedindo o que quero ver, mas também como quero vê-lo. Estou pedindo cores específicas, o que é uma maneira rápida de alinhar com o agente e entender o que está sendo visualizado.

[9:26] Novamente, você pode ver como isso pode ser útil se você quiser talvez planejar uma missão à lua, ou se você apenas quiser educar as pessoas. Aqui está outro. Então este é um exemplo de eu pedir uma modificação da visualização. Neste caso, o agente já havia visualizado todos os níveis de elevação na lua com este gradiente. Mas estou interessado em níveis de elevação particulares a quatro quilômetros. Então estou pedindo uma modificação na visualização. E tudo isso acontece bem na minha frente enquanto eu continuo falando com o sistema.

Dados urbanos e populações sintéticas

[10:01] O grupo de pesquisa em que estou é chamado City Science. Nós falaremos sobre um projeto urbano agora. Esta é uma população sintética que se move neste prédio que nunca foi construído. A população é visualizada usando estes pontos que estão se movendo. Usando o sistema onde posso perguntar conversacionalmente por informações, posso pedir para um agente aleatório ser visualizado em como ele se move pelo prédio.

[10:27] Neste caso, eu só peço um aleatório. Mas você também poderia pedir todos os passeios que os estudantes podem fazer, estudantes com menos de 25 anos e passeios que terminam em um bar. E isso pode ajudar você a entender por que os elevadores estão sempre lotados às 22h. Então, esse tipo de análise conversacional de dados nos ajuda a melhorar esses edifícios e tornar os habitantes mais felizes e saudáveis nesses edifícios porque podemos analisar o que está dando errado com mais facilidade. No nosso grupo de pesquisa, fazemos muito com populações sintéticas e aprendemos simulando como elas interagem com seus ambientes.

[11:02] Incorporar agentes de conversação, como o que estou demonstrando aqui, tornou muito mais rápido para nós interagir com esses grandes conjuntos de dados porque você pode simular, eu não sei, 100.000 desses agentes. Fazer sentido disso não é tão fácil.

Aqui está outro exemplo que mostra bem a natureza conversacional dessas interações. Então estou cavando cada vez mais fundo nesta visualização. Eu posso apenas (dar) instruções onde eu quero ver a visualização em

[11:33] maneiras diferentes. Mas eu também posso filtrar e posso realmente investigar, isolar certos espaços em que os agentes se movem. Tudo isso é feito de maneira conversacional.

Acho que a questão é, por que você deveria se importar com tudo isso? Algumas das conversas que tive hoje já indicaram que muitos de vocês têm grandes quantidades de informações espaciais que vocês podem já visualizar no Unity. E eu acho que esta pode ser uma ótima maneira de dar sentido a esse tipo de informação.

[12:01] A questão é, o que você poderia fazer com um agente que curadoria informações para você conforme você precisa dentro desses poderosos runtimes 3D? Você poderia tomar decisões mais rápido? Você poderia tomar decisões melhores? E talvez o mais importante, você poderia alinhar-se com outras pessoas mais rapidamente colocando isso em um ambiente XR e olhando para isso com mais pessoas, (enquanto tendo) um agente curando o ambiente e os dados que você quer ver?

[12:30] Tudo o que mostrei até agora foi relativamente simples em termos das perguntas feitas. Estou pedindo uma visualização e então a visualização retorna.

Caso de uso de mineração e raciocínio de múltiplos passos

Nós também podemos aumentar um pouco isso. Este é um caso de uso de mineração. Eu não sou nada de mineração ou petróleo e gás. Então, novamente, desculpas se eu usar a terminologia errada. Mas este é um modelo de bloco sintético para um depósito de lítio no subsolo. E a ideia aqui é escolher um ponto na superfície e perguntar, o que aconteceria se começássemos a cavar neste ponto em particular?

[12:58] O agente então vai embora de maneira assíncrona, analisa os dados, descobre onde eu quero cavar e também executa uma simulação de como a cova poderia parecer se começássemos a cavar neste local. Então ele tem um modelo em segundo plano que pode criar essas geometrias de casca. E você poderia colocar isso em óculos XR, é claro.

[13:25] Então nós cinco poderíamos olhar para isso, sabe, ao redor da mesa. Este é um exemplo diferente onde o agente calcula a forma mutável da cava a céu aberto. Ele faz suposições sobre um modelo econômico e preços variáveis de lítio para estimar como seriam essas formas de mina em mudança. Então, novamente, ele some, pega esta tarefa e depois volta com uma resposta visual que me ajuda a entender qual seria o resultado de uma forma muito visual. E você poderia imaginar conectar esses modelos, conectar modelos adicionais a esses tipos de sistemas.

[14:02] Você poderia ter um modelo que prevê como a poeira se moveria com base nas velocidades e padrões do vento, ou o agente poderia sugerir a localização de um local de rejeitos e as consequências no lado ambiental, também para o resultado final das pessoas que desenvolvem no local. E o agente poderia mostrar a você múltiplas opções e então trabalhar com você para atingir seus objetivos, sejam eles ambientais ou econômicos.

[14:33] Um interesse de pesquisa particular meu é trabalhar nesses processos de raciocínio de múltiplos passos nesses sistemas. Um exemplo seria, olhe para isto, você está neste ponto, este é o local onde você quer minerar. Você já entende como seria o shell, porque talvez você seja um engenheiro que entende esse tipo de coisa. Mas pense no que isso faria para o posicionamento da estrada e como isso afetaria seu resultado final.

[14:59] Então, esses tipos de processos de raciocínio de múltiplos passos onde o agente o leva de um lugar para outro e lhe mostra coisas são um interesse particular meu e acho que é muito importante. Espero que estes exemplos ajudem a ilustrar o quão poderosos poderiam ser os agentes conversacionais nestes ambientes. Porque você pode ter experiência em uma área específica e não precisa de um agente para lhe dizer algo que você já sabe. Mas às vezes você trabalha com esses agentes e há coisas que você não sabe.

[15:32] Talvez você esteja bastante familiarizado com a modelagem financeira, mas não esteja familiarizado com a tarefa de engenharia ou vice-versa. E ao tomar decisões de engenharia, você pode querer entender quais são os efeitos a jusante em um lado econômico. Se você voltar a Tony Stark, ele claramente tem muita experiência em muitas áreas, níveis de experiência irrealistas em muitas áreas. Mas o JARVIS ainda está lá para preencher as lacunas. Então o JARVIS executa essas tarefas em segundo plano, traz informações e preenche todos os pontos cegos que Tony pode ter. Muitas vezes, são preocupações de segurança das quais ele não tem plena consciência ou simplesmente ignora.

Encerramento: Objetivos de design e engajamento da comunidade

Acredito que veremos esses agentes conversacionais muito mais nesses ambientes, em ambientes 3D bastante poderosos em tempo real. E idealmente teríamos todas essas três características nesses sistemas:

[16:29] Queremos que sejam poderosos e expressivos, e especialmente em indústrias regulamentadas, também queremos que sejam seguros e auditáveis. E então, para os usuários, sejam eles usuários internos ou externos, queremos que esses sistemas sejam rápidos e intuitivos. E como com a maioria das coisas, se você construir esses sistemas de maneira ingênua, você pode obter dois em três ou talvez apenas um dos três. Então eu acho que há um pouco mais de pesquisa necessária para manter isso especificamente seguro e auditável.

[17:01] Mas eu acho que se acertarmos isso, será algo bastante incrível. Então imagine que você pode ir a um sistema, fazer todas as perguntas sobre seus dados, obter respostas visuais, ter um sistema que ajuda você a filtrar e focar nos dados e que explica os dados para você. Sinto-me bastante encorajado a construir esse tipo de sistema porque acho que eles serão incrivelmente poderosos. Você poderia pensar em integrar um novo colega a um projeto de construção que já existe.

[17:29] Encontrar soluções inovadoras ao lado de um parceiro de IA ou reunir diferentes partes interessadas na mesma mesa e tomar decisões juntos e colocar todos na mesma página. E nessa nota, o que também fizemos agora é incorporar esses tipos de sistemas em plataformas de engajamento comunitário. Então, no nosso grupo de pesquisa, temos muita experiência quando se trata de engajar o público para que certos projetos possam avançar. Mas há muita resistência atualmente quando se trata de certos projetos de construção.

[18:00] E esperamos que com este tipo particular de sistema, possamos fazer com que as pessoas se reúnam e cheguem a um consenso mais rápido. Porque muitas das pessoas que vêm a este tipo de reuniões não conseguem ler um desenho CAD. Mas se você puder explicar isso a eles e tiver um sistema personalizado que explique a situação a eles e como isso afeta a situação pessoal deles na vida, esperamos que isso coloque as pessoas na mesma página mais rápido. Então, com isso, como você pode imaginar, só conseguimos arranhar a superfície.