Как разговорный ИИ в реальном времени в промышленных 3D может способствовать принятию более быстрых и обоснованных решений в командах

Nov 20, 2026|10 Min

Shanti Zachariah - Unity Technologies

Senior content marketing manager

Матти Грунер, исследователь, MIT Media Lab

Эта веб-страница была переведена с помощью машинного перевода для вашего удобства. Мы не можем гарантировать точность или надежность переведенного контента. Если у вас есть вопросы о точности переведенного контента, обращайтесь к официальной английской версии веб-страницы.

Эта презентация Unity U/Day Houston сделана Матти Грунером, исследователем из MIT Media Lab.

Опираясь на свой обширный опыт в области визуальных эффектов, дополненной реальности и текущих исследований в MIT Media Lab, Матти Грунер рассматривает ИИ в реальном времени в 3D через две призмы: ИИ-агенты, которые помогают в создании приложений, и встраивание ИИ непосредственно в работающие приложения в качестве интерактивных, разговорных партнеров.

На стороне разработки приложений использование таких инструментов, как Unity CLI, позволяет разработчикам делегировать сложные задачи сборки и визуализации непосредственно ИИ-агентам, вместо того чтобы постоянно открывать Unity Editor.

Встраивание разговорного ИИ в 3D в реальном времени создает интуитивно понятные системы, которые действуют как помощники для конечных пользователей. Интегрируя большие многомерные наборы данных, такие как десятилетия лунных исследований, синтетическое городское движение или геологические горнодобывающие модели – примеры из работ Матти Грунера – пользователи могут легко запрашивать, фильтровать и изменять 3D-представления с помощью естественного языка в реальном времени.

Основные выводы

  • Матти Грунер дает обзор того, как Unity CLI значительно ускорил его рабочие процессы в Unity, позволив автоматизировать множество задач с помощью ИИ-агентов и проверять результаты с помощью простого HTML-отчетности.
  • Он проходит через три ключевых примера проектов из MIT Media Lab:
    • Лунный AR-опыт вместе с НАСА
    • Визуализация здания и городского дизайна
    • Симуляция литиевого рудника
  • Каждое из этих трех приложений, наряду с встроенным разговорным ИИ, позволяет пользователю запрашивать фильтрацию, моделирование и рендеринг визуальных ответов с помощью запросов на естественном языке. Пример — это пользователь в визуализации литиевого рудника, который запрашивает у ИИ генерацию возможных геометрий карьера, планирование дорог или экономические прогнозы.
  • Цель его исследований — разработать специализированные архитектуры для систем искусственного интеллекта, которые должны работать в регулируемых отраслях, с целью исключения сфабрикованных данных, чтобы пользователи могли доверять результатам и принимать высокоточные, основанные на данных решения.
  • Чат-боты на базе разговорного ИИ могут помочь устранить пробелы в знаниях между кросс-функциональными командами, позволяя различным заинтересованным сторонам, техническим экспертам и нетехническим сотрудникам интерпретировать сложную пространственную информацию с целью принятия более эффективных и точных решений.
Разговорный ИИ в реальном времени в 3D

Полная стенограмма

Докладчик: Матти Грунер, исследователь, MIT Media Lab

Заметки:

  • Это слегка отредактированный стенограмма записанной презентации.
  • Железный Человек и JARVIS используются только в иллюстративных целях. Не аффилирован и не одобрен Marvel/Disney.

Введение

[0:00] Меня зовут Матти. В настоящее время я провожу исследования в MIT Media Lab. Прежде чем вернуться в школу и в MIT, я провел около 15 лет в различных отраслях, около 10 из которых были в области визуальных эффектов, где я работал над одним из фильмов Гарри Поттер, Мандалорец, Игра престолов; затем я покинул сферу визуальных эффектов и работал в сфере моддернологий, а затем в дополненной реальности и искусственном интеллекте. Итак, в контексте приложений Unity я хочу рассмотреть ИИ с двух разных точек зрения.

[0:58] Первый (перспективный) — это тот, что слева, где ИИ помогает нам создавать эти приложения. Итак, у нас есть эти агентные рабочие процессы, которые создают приложения и исполняемые файлы для нас. А затем другой, справа, — это встраивание ИИ в само приложение. Мы сосредоточимся на правом, но я немного поговорю о левом, о этих агентных рабочих процессах для создания приложений, на секунду.

Создание приложений с помощью Unity CLI и агентных рабочих процессов

[1:30] Хорошо. Так что я признаю, что некоторое время я полностью погрузился в ИИ. MIT очень занят. Мне приходится делегировать как можно больше своим агентам, чтобы пережить шторм, которым является MIT в определенные дни. И у меня есть еще одно признание, а именно то, что я почти не открывал Unity Editor за последние пару месяцев. Было время, когда я проводил по восемь часов в день в Unity, и эти времена, кажется, прошли. Я не знаю, был ли это задуманный эффект, когда Unity выпустила Unity CLI. Но с выходом CLI, просто естественно, я перестал открывать Редактор.

Unity CLI коренным образом изменил мой подход к созданию приложений.

[2:28] Итак, сейчас я инструктирую своих агентов строить вещи через Unity CLI, а затем я также инструктирую их строить эти HTML-страницы, чтобы предоставить визуальное доказательство того, что выполненная мной задача была действительно выполнена. Итак, в этом случае я не особо фокусируюсь на визуальной составляющей. Я больше сосредоточен на том, были ли выбраны правильные данные, были ли они помещены в нужное место, были ли они обработаны должным образом? И в этом случае понял ли агент, что нужно производить массирование вокруг этих графов узлов? Но это детали. Речь больше о рабочем процессе, и в последнее время я смотрю только на HTML-страницы в качестве вывода, чтобы проверить, что работа выполнена.

[3:03] И это значительно ускорило мои рабочие процессы. И я обнаружил, что, как мы говорили ранее сегодня, мы стали занятее с тех пор, как получили все эти инструменты. Так что они не сделали жизнь обязательно менее загруженной, но как-то люди вроде нас просто начинают делать больше дел. Так что в моем случае я часто бегаю, не знаю, 10 дел одновременно, и такой рабочий процесс помог мне это отслеживать.

[3:32] Наличие этих HTML-страниц, содержащих контекст того, что я делал в то время, помогает мне после этого проверить, была ли работа действительно выполнена. Так что это было скорее процедурное упражнение, но я также использовал это для творческой работы. В этом случае у меня есть данные, которые я загрузил в одно из своих приложений Unity, и я пытаюсь понять, как я хочу визуализировать эту информацию.

[3:59] Я поручил своим агентам предложить мне несколько вариантов, как я могу это сделать. А теперь я просто прокручиваю и смотрю, что мне в этом нравится. Есть разные цветовые схемы, дело в масштабе, в том, использую ли я перспективные или ортогональные камеры. И я могу просто пройтись и выбрать то, что мне нравится. А то, что я обычно делаю после этого, — это также создавать интерактивное приложение, которое выводит все эти параметры, с которыми я могу захотеть поэкспериментировать, в виде пользовательского интерфейса поверх приложения.

[4:27] Таким образом, мне очень быстро удается настроить внешний вид, например, и затем сделать снимок экрана интерфейса, передать его моему агенту и сказать агенту, что это мой стандартный вид с этого момента. Это значительно ускорило мою работу.

От Железного Человека к встроенному ИИ

Но я хочу на секунду сменить тему и вернуться к тому, о чем я говорил раньше: встраивание ИИ в приложения Unity. И чтобы подготовить почву для этого, я хочу перенести вас на 15 лет назад.

[4:59] Я говорил вам, что долго работал в кино, и 15 лет назад я работал над этой сценой. Итак, это очень короткий клип из Железный человек 3. И это испытание сборки костюма, где Тони Старк пытается разобраться с этой новой системой сборки костюмов на своем теле. Отличная последовательность. Вот почему я это показываю. Но я также показываю это, потому что у Тони есть этот ИИ-агент, с которым он работает.

[5:31] Я думаю, Железный Человек, вероятно, является ярким примером инженера, работающего с системой с поддержкой ИИ, которая может визуализировать информацию вокруг него для достижения этих великих инженерных свершений. И если вы помните, JARVIS (ИИ-помощник из франшизы) способен собрать всю эту информацию. Он уходит и выполняет асинхронные задачи, симуляции, анализы, и возвращает это обратно в эту волшебную среду XR. Но Тони может видеть всю эту информацию.

[6:00] Он (ДЖАРВИС) помогает отвечать на вопросы и в данном случае делает много едких замечаний о мерах безопасности Тони. И давайте пойдем к этому. Значит, это так выглядит, верно? Так что на практике существует информация вокруг этого робота в данном случае. А тогда, когда мы работали над этим фильмом 15 лет назад, это была чистая научная фантастика. И вы, возможно, догадываетесь, куда я клоню.

[6:28] Это больше не кажется научной фантастикой. Много из этого вполне осуществимо сегодня.

Демонстрация лунных данных от NASA и уменьшение галлюцинаций ИИ

[6:34] Я хочу показать вам проект, который я недавно делал с коллегой-исследователем из Массачусетского технологического института. Вы увидите, как я общаюсь с разговорным агентом в гарнитуре дополненной реальности. И агент приносит информацию о Луне. Мы загрузили в систему данные о Луне за четыре десятилетия, чтобы мы могли задавать по ним вопросы и визуализировать их непосредственно на поверхности Луны.

[6:59] Я это сыграю. Ниже представлен аудиозапись с демонстрации, которую Матти показывает аудитории.

(Матти в видео): Используя данные о нейтронах, которые у нас есть о Луне, можем ли мы исследовать, где может быть вода?

(Встроенный ИИ-помощник в приложении, показанном в видео): Сейчас я показываю данные по нейтронам, которые варьируются от 531,52 до 615,83 счета за 32 секунды. Снижение количества нейтронов может указывать на присутствие водорода, а следовательно, потенциально водяного льда на поверхности Луны. Я применил к нему температурный градиент.

[7:31] Так что это намного менее едкое, чем у JARVIS в франшизе, но все равно довольно полезное. И вы могли бы увидеть, как это потенциально помогает планировщикам миссий или педагогам взаимодействовать с лунными данными.

[8:01] То, что вы только что видели, было частью публикации, которую мне удалось представить в Исследовательском центре НАСА в Эймсе пару недель назад. И то, что я считаю действительно важным упомянуть, это то, что архитектура, которую мы используем в этой системе, специально разработана для снижения галлюцинаций.

[8:31] Когда мы входим в этот мир, где у нас есть ИИ-агенты в этих очень мощных 3D-средах выполнения, я все еще хочу верить своим глазам. Видеть — значит поверить. И я думаю, что особенно с такими системами это может сбивать с толку или вводить людей в заблуждение. И мы делаем все возможное, чтобы сделать это максимально безопасным. В нашей оценке этой конкретной работы агент ни разу не предоставил сфабрикованной информации и почти не допустил ошибок. И в целом время отклика было очень хорошим. Так что мы были довольно довольны этой системой.

[8:59] Я покажу вам еще несколько клипов. Я выключил звук здесь, чтобы иметь возможность говорить поверх него, но это такой же тип настройки. Ты просто разговариваешь с ним, и оно отвечает. В этом случае я прошу показать траектории полетов определенных космических аппаратов, которые обращались вокруг Луны. Я не просто прошу о том, что хочу увидеть, но и о том, как я хочу это увидеть. Я прошу конкретные цвета, что является быстрым способом прийти к общему пониманию с агентом и понять, что визуализируется.

[9:26] Опять же, вы можете увидеть, как это может быть полезно, если вы захотите, например, спланировать миссию на Луну, или если вы просто хотите просветить людей. Вот еще один. Итак, это пример того, как я прошу об изменении визуализации. В этом случае агент уже визуализировал все уровни высоты на Луне с помощью этого градиента. Но меня интересуют конкретные уровни высоты на высоте четырех километров. Итак, я прошу внести изменения в визуализацию. И всё это происходит прямо передо мной, пока я продолжаю разговаривать с системой.

Городские данные и синтетические популяции

[10:01] Исследовательская группа, в которой я состою, называется City Science. Теперь мы поговорим об городском проекте. Это синтетическое население, которое перемещается по этому зданию, которое никогда не было построено. Население визуализируется с помощью этих движущихся точек. Используя систему, где я могу разговорно запрашивать информацию, я могу попросить визуализировать случайного агента и показать, как он перемещается по зданию.

[10:27] В этом случае я просто прошу случайный. Но вы также можете запросить все поездки, которые могут совершать студенты, студенты до 25 лет и поездки, которые заканчиваются в баре. И это может помочь вам понять, почему лифты всегда переполнены в 22:00. Так что такой разговорный способ анализа данных помогает нам затем улучшать эти здания и делать обитателей в них счастливее и здоровее, потому что мы можем легче анализировать, что идет не так. В нашей исследовательской группе мы много работаем с синтетическими популяциями и учимся, моделируя их взаимодействие с окружающей средой.

[11:02] Внедрение разговорных агентов, как я демонстрирую здесь, позволило нам гораздо быстрее взаимодействовать с этими большими наборами данных, потому что вы могли симулировать, не знаю, 100 000 таких агентов. Понять это не так-то просто.

Вот еще один пример, который довольно хорошо демонстрирует разговорный характер этих взаимодействий. Итак, я всё глубже и глубже погружаюсь в эту визуализацию. Я могу просто (дать) инструкции, где мне нужно смотреть визуализацию в

[11:33] разные способы. Но я также могу фильтровать, и я могу по-настоящему углубиться, изолировать определенные пространства, в которых перемещаются агенты. Все это делается в разговорной манере.

Думаю, вопрос в том, почему вы должны об этом беспокоиться? Некоторые из разговоров, которые у меня были сегодня, как бы указали на то, что у многих из вас есть большие объемы пространственной информации, которую вы, возможно, уже визуализируете в Unity. И я думаю, это может быть отличный способ осмыслить такую информацию.

[12:01] Вопрос в том, что можно сделать с агентом, который курирует информацию для вас по мере необходимости в этих мощных 3D средах выполнения? Вы могли бы принимать решения быстрее? Вы могли бы принимать лучшие решения? И, возможно, что самое важное, вы могли бы быстрее прийти к общему пониманию с другими людьми, поместив это в среду XR и посмотрев на это с большим количеством людей, (при этом имея) агента, курирующего среду и данные, на которые вы хотите посмотреть?

[12:30] Всё, что я вам показал до сих пор, было относительно простым с точки зрения заданных вопросов. Я прошу визуализацию, а затем визуализация возвращается.

Сценарий использования майнинга и многоэтапное рассуждение

Мы также можем немного нарастить это. Это сценарий использования для майнинга. Я совсем не разбираюсь в горнодобывающей промышленности или нефти и газе. Итак, еще раз, извините, если я использую неверную терминологию. Но это синтетическая блочная модель для литиевого месторождения в недрах. И идея здесь в том, чтобы выбрать точку на поверхности и спросить: что произойдет, если мы начнем копать в этом конкретном месте?

[12:58] Затем агент уходит асинхронно, анализирует данные, выясняет, где я хочу копать, и также запускает симуляцию того, как может выглядеть яма, если мы начнем копать в этом месте. Итак, у него есть модель на заднем плане, которая может создавать эти оболочечные геометрии. И вы могли бы поместить это на очки XR, конечно.

[13:25] Тогда пятеро из нас могли бы посмотреть на это, знаете, вокруг стола. Это другой пример, где агент рассчитывает изменяющуюся форму карьера. Он делает предположения об экономической модели и меняющихся ценах на литий, чтобы оценить, какими будут эти меняющиеся формы карьера. Итак, снова он исчезает, берет эту задачу, а затем возвращается с визуальным ответом, который помогает мне понять, каким будет результат в очень наглядном виде. И вы могли бы представить, подключая эти модели, подключая дополнительные модели в подобные системы.

[14:02] Вы могли бы иметь модель, которая предсказывает, как будет двигаться пыль в зависимости от скорости и характера ветра, или агент мог бы предложить местоположение отвального хранилища и последствия для окружающей среды, а также для людей, которые развиваются на этом объекте. И агент мог бы показать вам несколько вариантов, а затем работать с вами, чтобы достичь ваших целей, какими бы они ни были, будь то экологические или экономические.

[14:33] Особый мой исследовательский интерес — работа над этими многоэтапными процессами рассуждения в этих системах. Например, посмотрите на это, вы находитесь в этом месте, вот где вы хотите добывать. Вы уже понимаете, как будет выглядеть оболочка, потому что, возможно, вы инженер, который разбирается в таких вещах. Но подумайте о том, что это даст для размещения дорог и как это в конечном итоге повлияет на вашу прибыль.

[14:59] Так вот эти виды многоэтапных процессов рассуждения, где агент переводит вас из одного места в другое и показывает вам вещи, представляют особый интерес для меня, и я думаю, это очень важно. Надеюсь, эти примеры помогут проиллюстрировать, насколько мощными могут быть разговорные агенты в этих средах. Потому что у вас может быть опыт в определенной области, и вам не нужен агент, чтобы сказать вам что-то, что вы уже знаете. Но иногда вы работаете с этими агентами, и есть вещи, о которых вы не знаете.

[15:32] Возможно, вы хорошо знакомы с финансовым моделированием, но не знакомы с инженерной задачей, или наоборот. И когда вы принимаете инженерные решения, вы можете захотеть понять, каковы будут последующие экономические последствия. Если вспомнить Тони Старка, у него явно много знаний во многих областях, нереалистичный уровень знаний во многих областях. Но JARVIS все еще здесь, чтобы заполнить пробелы. Так что JARVIS выполняет эти фоновые задачи, собирает информацию и восполняет все пробелы, которые могут быть у Тони. Часто это проблемы безопасности, о которых он не до конца осведомлен или просто игнорирует.

Закрытие: Цели проектирования и вовлеченность сообщества

Я считаю, что мы увидим этих разговорных агентов гораздо чаще в этих средах, в довольно мощных средах реального времени 3D. И в идеале у этих систем должны быть все эти три характеристики:

[16:29] Мы хотим, чтобы они были мощными и выразительными, и особенно в регулируемых отраслях мы также хотим, чтобы они были безопасными и поддавались аудиту. А затем для пользователей, будь то внутренние или внешние пользователи, мы хотим, чтобы эти системы были быстрыми и интуитивно понятными. И как и в большинстве вещей, если вы строите эти системы наивно, вы можете получить два из трех или, возможно, всего один из трех. Так что я думаю, что нужно немного больше исследований, чтобы сделать это конкретно безопасным и поддающимся аудиту.

[17:01] Но я думаю, если мы сделаем это правильно, это будет довольно потрясающе. Представьте, что вы можете прийти в систему, задать все вопросы о своих данных, получить визуальные ответы, иметь систему, которая помогает вам отфильтровывать и фокусироваться на данных, и объясняет эти данные вам. Я чувствую себя довольно воодушевленным созданием таких систем, потому что думаю, что они будут невероятно мощными. Вы могли бы подумать о том, чтобы ввести в курс дела нового коллегу в уже существующий строительный проект.

[17:29] Поиск инновационных решений вместе с партнером-ИИ или объединение различных заинтересованных сторон за одним столом и совместное принятие решений и приведение всех в одно русло. И в этом контексте мы также внедрили подобные системы в платформы для взаимодействия с сообществом. Итак, в нашей исследовательской группе у нас большой опыт в привлечении общественности, чтобы определенные проекты могли продвигаться вперед. Но сейчас существует много сопротивления в отношении некоторых строительных проектов.

[18:00] И мы надеемся, что с помощью такого типа системы мы сможем собрать людей вместе и быстрее достичь консенсуса. Потому что многие люди, которые приходят на подобные встречи, не умеют читать чертежи САПР. Но если вы сможете объяснить это им и иметь персонализированную систему, которая объясняет ситуацию им и то, как это влияет на их личную жизнь, мы надеемся, что это быстрее приведет людей к общему пониманию. Итак, как вы можете себе представить, мы могли лишь затронуть поверхность.