实时3D工业应用中的对话式AI如何推动跨团队做出更快、更明智的决策
Shanti Zachariah - Unity Technologies
Senior content marketing manager

为方便起见,此网页已进行机器翻译。我们无法保证翻译内容的准确性或可靠性。如果您对翻译内容的准确性有疑问,请参阅此网页的官方英文版本。
这次Unity U/Day休斯顿的演讲者是来自麻省理工学院媒体实验室的研究人员Matti Gruener。
凭借他在视觉效果、增强现实以及麻省理工学院媒体实验室当前研究的深厚背景,Matti Gruener 从两个角度审视实时 3D 中的人工智能:协助构建 Applications 的 AI 代理,以及将 AI 直接嵌入到运行时 Applications 中作为交互式、对话式伙伴。
在应用程序开发方面,利用像Unity CLI这样的工具,使开发人员可以将复杂的构建和可视化任务直接委托给 AI 代理,而不是持续打开 Unity Editor。
将对话式人工智能嵌入实时3D中,可以创建充当终端用户助手的直观系统。通过整合大型、多维数据集,例如数十年的月球研究、合成城市移动或地质采矿模型——这些都是Matti Gruener作品中的例子——Users可以实时通过自然语言轻松查询、过滤和修改3D表示。
重要信息
- Matti Gruener 概述了 Unity CLI 如何显著加快了他的 Unity 工作流程,使其能够通过 AI 代理自动化多个任务,并使用简单的 HTML 报告验证输出。
- 他介绍了来自麻省理工学院媒体实验室的三个Key示例Projects:
- 与NASA全体学员的月球AR体验
- 构建和城市设计可视化
- 一个锂矿的模拟
- 这三个Applications程序,全体学员嵌入式入式对话式人工智能,使用户能够通过自然语言提示来请求视觉响应的过滤、建模和渲染。一个例子是锂矿可视化中的用户要求人工智能Generate可能的坑洞几何形状、道路规划或经济预测。
- 他的研究目标是为需要在受监管行业中运行的AI系统开发专业架构,目标是零虚假数据,以便用户可以信任输出并做出高精度、数据驱动的决策。
- 对话式人工智能助手可以帮助弥合跨职能团队之间的知识差距,使不同的利益相关者、技术专家和非技术成员能够以实现更高效和更准确决策为目标来解读复杂空间信息。

完整记录
主讲嘉宾:Matti Gruener,研究员,麻省理工学院媒体实验室
笔记:
- 这是录制演示文稿的轻微编辑的文字记录。
- 钢铁侠和贾维斯仅用于说明目的。不隶属于或不被漫威/迪士尼认可。
简介
[0:00] 我的名字是Matti。我目前在麻省理工学院媒体实验室进行研究。在重返学校和重返麻省理工学院之前,我在不同的行业工作了大约15年,其中大约10年在视觉效果领域工作,我参与了其中一部哈利·波特电影、曼达洛人和权力的游戏;然后我某个时候离开了视觉效果领域,之后从事时尚技术,最终从事增强现实和人工智能。所以在 Unity Applications 的背景下,我想从两个不同的角度来看待人工智能。
[0:58] 第一个透视是左边的那个,AI 帮助我们生成这些 Applications。所以我们有这些代理工作流,它们为我们生成 Applications 和可执行文件。然后右边的那个是将AI嵌入到应用程序本身中。我们Focus On侧,但我会花一分钟时间谈谈左,关于使用这些代理工作流来生成Applications程序。
使用 Unity CLI 和智能体工作流构建 Applications
[1:30] 好的。所以我承认我有一段时间一直All身心投入ON人工智能中。麻省理工非常忙。我必须尽可能地将工作委托给我的代理人,以度过某些日子ONMIT带来的风暴。我还有另一个要坦白的事情,那就是在过去的几个月里我几乎没有打开过 Unity Editor。所以曾经有一个时候我每天在 Unity 里花八个小时,但那些时间似乎已经不复存在了。我不知道WhenUnity发布Unity CLI时,那是否是预期的特效。但是随着CLI的发布,我自然而然地停止了打开Editor。
Unity CLI 从根本上改变了我构建 Applications 的方式。
[2:28] 所以现在,我指示我的代理通过 Unity CLI 构建东西,然后我也指示他们构建这些 HTML 页面,以提供视觉证明我分配的任务确实完成了。所以在这种情况下,我不太关注视觉效果。我更关注ON是数据是否被正确捕获,是否被放在了正确的聚光,是否被以正确的方式处理了?在这种情况下,Agent是否理解了围绕这些节点图生成体量?但那些是细节。更多的是关于工作流程,而且我最近只查看 HTML 页面作为输出来验证工作是否已Done。
[3:03] 这让我的工作流程加快了很多。而且我发现,正如我们今天早些时候所说,自从我们有了All这些工具后,我们变得更忙了。所以他们并没有让生活变得不那么忙碌,但不知怎么的,我们这样的人结束还是做了更多的事情。所以在我这里,我经常同时运行,我不知道,10件事情,这种工作流程帮助我跟踪这些事情。
[3:32] 拥有这些关于当时我在做什么的HTML页面,有助于我事后回顾工作是否真的完成了。所以这更多是一个程序性的例子,但我也用它来做创意工作。在这种情况下,我有一个我导入到我的 Unity Applications 中的数据,我正试图弄清楚我如何想要可视化这些信息。
[3:59] 我指示我的代理人给我一些关于如何做这件事的选项。现在我只是滚动浏览,看看我喜欢它的哪些地方。有不同的颜色方案,这关乎Scale,关乎我使用透视相机还是Orthographic相机。然后我可以挑选出我喜欢的东西。然后我通常会做的是,在完成这个之后,还会生成一个交互式应用程序,将我可能想在应用程序的顶部作为 UI 玩弄的所有这些参数暴露出来。
[4:27] 这样我就能非常快地调整外观,例如,然后截取 UI 的屏幕截图,将它传回我的 Agent,然后告诉 Agent 这是我今后的默认外观。这极大地加快了我的工作速度。
从钢铁侠到嵌入式AI
但我想切换话题,Go back to我之前谈到的:将人工智能嵌入到 Unity Applications程序中。为了为此铺垫,我想带大家回到 15 年前。
[4:59] 我告诉过你,我在电影行业工作了很长时间,15年前我正在拍摄这个片段。所以这是来自钢铁侠3的非常短的片段。这是一个程序集测试,托尼·斯塔克正试图弄清楚这个在自己身上组装战甲的新系统。很棒的序列。这就是我展示它的原因。但我也展示它,因为托尼有一个他正在合作的AI Agent。
[5:31] 我认为钢铁侠可能是工程师与一个可以可视化周围信息的AI辅助系统合作的典型例子,从而实现这些伟大的工程壮举。而且如果你记得,贾维斯(该系列中的人工智能助手)能够调取All这些信息。它会消失并运行异步任务、模拟、分析,然后将这些结果带回这个神奇的XR Environment中。但托尼可以看到All这些信息。
[6:00] 它(贾维斯)可以帮助回答问题,在这种情况下,它还会对托尼的安全做法发表很多讽刺的评论。让我们转到这个。所以这就是它的样子,对吧?所以实际上,在这个Robot人案例中,周围有All信息。那时我们制作这部电影的时候,这完全是科幻片。你可能猜到我接下来想说什么了。
[6:28] 这感觉不再是科幻小说了。这些东西的很多部分在今天来说是相当可行的。
NASA 的月球数据演示和减少人工智能幻觉
[6:34] 我想给你看我最近和麻省理工学院的一位研究员一起完成的一个 Project。您看到的是我在一个增强现实头盔中与一个对话式 Agent 交谈。然后Agent带来了关于月球的信息。我们将四十年的月球数据摄取到 System 中,以便我们可以提出关于它的问题,并直接在月球表面上将其可视化。
[6:59] 我会播放那个。以下是Matti向观众展示的演示音频。
(Matti 在视频中):利用我们拥有的月球中子数据,我们能否探索可能存在水的地方?
(视频中展示的应用程序中的嵌入式AI助手):我现在显示的是中子数据,范围是每32秒531.52到615.83个计数。较低的中子计数可能表明月球表面存在氢,从而可能存在水冰。我给它施加了一个渐变。
[7:31] 所以这比 JARVIS 在系列电影中要不那么讽刺,但仍然相当有用。您可以看到这如何可能帮助任务规划者或教育工作者与月球数据进行交互。
[8:01] 您刚才看到的是我几周前在NASA Ames研究中心展示的一篇出版物的一部分。我认为真正重要的是要提到,我们在这个 System 中使用的架构是专门设计来减少幻觉的。
[8:31] 当我们进入这个拥有在这些非常强大的3D运行时中拥有AI代理的世界时,我仍然想相信自己的眼睛。眼见为实。而且我认为像这样的系统,可能会让人感到困惑或被误导。我们正在尽最大努力保持它尽可能Safe。在我们对这项特定工作的评估中,Agent 从未显示任何捏造的信息,而且几乎没有犯任何错误。而且总体来说响应时间非常好。所以我们对这个System相当满意。
[8:59] 我再给你看几个片段。我在这里关闭了音频以便可以覆盖它,但这是同一种设置。你和它说话,它就回应。在这种情况下,我要求查看绕月飞行的某些航天器的飞行轨迹。我不仅仅是要求看到什么,还要求以什么方式看到它。我要求特定的颜色,这是快速与 Agent 达成共识并了解正在可视化什么的快捷方式。
[9:26] 再说,如果你想计划一次登月任务,或者只是想教育人们,你也可以看到这会有多大的帮助。这是另一个。所以这是我要求修改可视化示例。在这种情况下,该 Agent 已经用这个渐变可视化了月球上的所有高程级别。但我对四公里处的特定海拔水平感兴趣。所以我要请求对可视化进行修改。而这All都正发生在我面前面,我保持在和System对话。
城市数据和合成人口
[10:01] 我所在的研究组叫做城市科学。我们现在来谈谈一个城市Project。这是一个在从未构建的建筑中移动的合成人群。人口使用这些移动的点进行可视化。使用我可以通过对话提问获取信息的系统,我可以要求可视化一个随机 Agent 在建筑中如何移动。
[10:27] 在这种情况下,我只是要求一个随机的。但你也可以要求All学生可能进行的行程、25岁以下的学生,以及在酒吧结束的行程。这可能有助于你理解为什么晚上10点电梯总是很拥挤。所以这种对话式的数据分析方式有助于我们改进这些建筑,让居住者在这些建筑中更快乐、更健康,因为我们可以更容易地分析出哪里出了问题。在我们的研究组中,我们大量使用合成种群,并从模拟它们与环境的相互作用中学习。
[11:02] 嵌入对话式代理,就像我在这里演示的,使我们能够更快地与这些大型数据集进行交互,因为你可以模拟,我不知道,一万个这样的代理。弄明白那可不那么容易。
这是一个另一个例子,很好地展示了这些交互的对话性质。所以我正在深入研究这个可视化。我可以直接(给出)指令,指定我想查看可视化的位置
[11:33] 不同的方式。但我也可以过滤器,我真的可以深入挖掘,隔离代理Move的特定空间。All这些都是以对话的方式Done的。
我想问题是,你为什么要关心All这些呢?我今天进行的一些对话已经表明,你们中的许多人可能已经拥有大量的空间信息,并且可能已经在 Unity 中可视化了这些信息。而且我认为这可能是理解那种信息的一个好方法。
[12:01] 问题是,在一个为你需要的信息进行整理的 Agent 中,您可以在这些强大的 3D 运行时中做些什么?你能更快地make决定吗?你能make更好的决定吗?而且最重要的是,您是否可以通过将此放入 XR 环境中,并让更多人一起查看,同时让一个 Agent 策划您想要查看的环境和数据,从而更快地与其他人达成共识?
[12:30] 到目前为止我向您展示的所有内容,就所问的问题而言是相对简单的。我要求一个可视化,然后可视化就回来了。
采矿使用和多步推理
我们也可以稍微增加一下。这是一个采矿使用。我All不是矿业或石油天然气行业的人。所以再次道歉,如果我使用了错误的术语。但这是一种用于地下锂矿床的合成代码块模型。这里的想法是选择一个表面ON的点,然后问,如果我们从这个特定聚光Start挖掘,会发生什么?
[12:58] 然后,Agent 以异步方式离开,分析数据,找出我想要挖掘的位置,还会模拟一下如果我们在这个聚光点开始挖掘时,坑可能是什么样子。所以它有一个背景模型可以创建这些壳几何形状。当然,你也可以把它放ONXR眼镜上。
[13:25] 那么我们五个人可以围着桌子看它,你知道的。这是一个不同的例子,其中Agent体计Open的形状变化。它对一个经济模型和不断变化的锂价格做出假设,以估计这些不断变化的矿坑形状会是什么样子。所以再次,它消失了,接了这个任务,然后带着一个视觉反馈回来,帮助我以非常直观的方式理解result会是什么。而且你可以想象将这些模型,将额外的模型插入到这类系统中。
[14:02] 你可以有一个模型来预测灰尘如何根据风速和风型移动,或者 Agent 可以建议尾矿场的位置以及对环境方面的影响,也对在该地开发的人们来说是底线。而且 Agent 可以向您展示多个选项,然后与您合作以实现您的目标,无论这些目标是环境上的还是经济上的。
[14:33] 我一个特定的研究兴趣是在这些系统中的多步推理过程。例如,看这个,你在这个聚光点上,这是你想开采的地方。你已经知道外壳会是什么样子了,因为也许你是一个了解这排序东西的工程师。但想想这广告位会有什么影响,以及那结束会如何影响你的线
[14:59] 所以这类多步骤推理过程,即 Agent 将你从一个地方带到另一个地方并向你展示事物,是我特别感兴趣的,我认为这非常重要。我希望这些例子能帮助说明这些环境中对话式智能体可以有多强大。因为您可能在某个领域有专业知识,而不需要一个 Agent 告诉您您已经知道的事情。但有时你与这些代理一起工作,有些事情你是不知道的。
[15:32] 也许您非常熟悉金融建模,但您不熟悉工程任务,反之亦然。当您做出工程决策时,您可能想了解这对经济方面有什么下游影响。如果你回想托尼·斯塔克,他显然在很多领域都有大量的专业知识,在很多领域都有不切实际的专业水平。但贾维斯仍然在那里填补空白。所以 JARVIS 会运行这些背景任务,引入信息,并填补托尼可能存在的All盲点。通常这些是他没有完全意识到或只是忽略的安全问题。
结束:设计目标和社区参与度
我相信我们将在这些环境中看到更多的对话式代理,在相当强大的时间3D环境中。而且理想情况下,我们希望这些系统都具备这三个特性:
[16:29] 我们希望它们功能强大且富有表现力,特别是在受监管的行业中,我们也希望它们是安全和可审计的。然后对于Users,无论是内部用户还是ExternalUsers,我们希望这些系统是快速和直观的。而且和大多数事情一样,如果你以天真的方式生成这些系统,你可能得到三分之二,或者可能只得到三分之一。所以我认为还需要做更多的研究,才能使这一点具体地保持安全和可审计。
[17:01] 但我认为如果我们把这个做对,那将会非常棒。所以想象一下,你可以进入一个System,询问关于你数据的All问题,获得视觉化的响应,拥有一个可以帮助你过滤器和Focus On数据并向你解释数据的System。我感到相当有动力去生成这类系统,因为我认为它们将非常强大。你可以考虑将新建同事入门一个已经存在的建筑Project。
[17:29] 与人工智能伙伴一起寻找创新解决方案,或者将不同的利益相关者聚集到同一张桌子旁,共同做出决策,让每个人都达成共识。在这一点上,我们现在还做到了将这类系统嵌入到社区参与平台中。因此,在我们的研究组中,我们在吸引公众方面拥有丰富的专业知识,以便某些项目能够正向推进。但目前在某些建筑项目上存在很多阻力。
[18:00] 我们希望通过这种特定类型的系统,能让大家聚集起来,更快地达成共识。因为很多来参加这类会议的人看不懂CAD图纸。但是,如果你能向他们解释这一点,并拥有一个个性化的系统来向他们解释情况以及它如何影响他们个人生活中的情况,我们希望这能更快地让人们达成共识。所以,如您所想,我们只能触及表面。


