リアルタイム3D産業アプリケーションにおける対話型AIが、チーム全体でより迅速かつ的確な意思決定を促進する方法
Shanti Zachariah - Unity Technologies
Senior content marketing manager

このウェブページは、お客様の便宜のために機械翻訳されたものです。翻訳されたコンテンツの正確性や信頼性は保証いたしかねます。翻訳されたコンテンツの正確性について疑問をお持ちの場合は、ウェブページの公式な英語版をご覧ください。
このUnity U/Day Houstonでのプレゼンテーションは、 MITメディアラボの研究者であるマティ・グルーナー氏によるものです。
視覚効果 (VFX)、拡張現実、そしてMITメディアラボでの最新の研究における豊富な背景に基づき、マティ・グルーナーは、2つの視点からリアルタイム3DにおけるAIを考察する。アプリケーション構築を支援するAIエージェント、および対話型パートナーとしてランタイムアプリケーションにAIを直接組み込むこと。
アプリケーション開発の面では、 Unity CLIのようなツールを利用することで、開発者はUnity エディターを継続的に開くことなく、複雑なビルドや可視化のタスクをAIエージェントに直接デリゲートできるようになります。
対話型AIをリアルタイム3Dに組み込むことで、エンドユーザーのアシスタントとして機能する直感的なシステムが構築される。マッティ・グルーナー氏の研究例にあるように、数十年にわたる月面探査、人工的な都市の動き、地質学的採掘モデルといった大規模で多次元的なデータセットを統合することで、ユーザーは自然言語を用いてリアルタイムで3D表現を簡単にクエリ、フィルター、変更できるようになります。
重要なポイント
- Matti Gruener氏は、 Unity CLIがいかにして彼のUnityワークフローを大幅に高速化し、AIエージェントによる複数のタスクの自動化と、シンプルなHTMLレポートによる出力の検証を可能にしたかについて概説します。
- 彼はMITメディアラボのキープロジェクト事例を3つ紹介する。
- NASAとの共同開発による月面AR体験
- 建築および都市デザインの可視化
- リチウム鉱山のシミュレーション
- これら3つのアプリケーションはそれぞれ、埋め込まれたの対話型AIと連携することで、ユーザーが平易な言葉による指示を通して、視覚的な応答のフィルタリング、モデリング、レンダリングを要求できるようにする。例えば、リチウム鉱山の可視化において、ユーザーがAIに対し、採掘場の形状、道路計画、経済予測などの生成を要求するケースが挙げられる。
- 彼の研究の目標は、規制された業界で運用される必要のあるAIシステム向けに特化したアーキテクチャを開発することであり、捏造データを一切使用しないことで、ユーザーが出力を信頼し、高精度でデータに基づいた意思決定を行えるようにすることを目指している。
- 対話型AIアシスタントは、部門横断的なチーム間の知識ギャップを埋めるのにヘルプ、多様な関係者、技術専門家、非技術系メンバーが複雑な空間情報を解釈できるようにすることで、より効率的かつ正確な意思決定を促進することを可能にします。

全文
スピーカー:マティ・グルーナー、MITメディアラボ研究員
注意:
- これは、録音されたプレゼンテーションを軽く編集した文字起こしです。
- アイアンマンとジャービスは、説明のためにのみ使用されています。マーベル/ディズニーとは一切関係がなく、承認も受けていません。
導入
[0:00]私の名前はマッティです。私は現在、MITメディアラボで研究を行っています。大学に戻ってMITに復学する前は、約15年間様々な業界で働いていました。そのうち約10年間は視覚効果 (VFX)の分野で、ハリー・ポッターシリーズの映画や『マンダロリアン』 、 『ゲーム・オブ・スローンズ』などの作品に携わりました。その後、視覚効果 (VFX)の分野を離れ、ファッションテクノロジーを経て、最終的には拡張現実と人工知能の分野に進みました。そこで、 Unityアプリケーションの文脈において、AIを2つの異なる視点から外観たいと思います。
[0:58] (最初の透視)は左側のもので、AI がこれらのアプリケーションのビルドを支援します。つまり、アプリケーションや実行ファイルを自動的にビルド、こうしたエージェント型のワークフローが存在するということです。そしてもう一方の右側のものは、AIをアプリケーション自体に組み込むというものです。右側に焦点を当てますが、左側についても少しだけ、アプリケーションをビルドためのエージェント型ワークフローについてお話しします。
Unity CLIとエージェントワークフローを使用したアプリケーションの構築
[1:30]わかりました。正直に言うと、私はここしばらくAIに全力で取り組んできました。MITはものすごく忙しい。MITの特定の日は、まるで嵐のような状況なので、それを乗り切るためには、できる限り多くのことをエージェントにデリゲート必要がある。そしてもう一つ告白しなければならないことがあります。それは、ここ数ヶ月間、 Unity エディターをほとんど開いていなかったということです。かつては1日に8時間もUnityに没頭していた時期もあったが、そんな時代はもう終わってしまったようだ。UnityがUnity CLIをリリースした際に、それが意図されたエフェクトだったのかどうかは分かりません。しかし、CLIがリリースことで、ごく自然にエディタを開かなくなりました。
Unity CLIのおかげで、私のアプリケーション開発へのアプローチは根本的に変わりました。
[2:28]そこで私は現在、エージェントにUnity CLIを使って何かをビルドように指示し、さらに、私が割り当てたタスクが実際に完了したことを視覚的に証明するために、これらのHTMLページをビルドようにも指示しています。だからこの場合、私は視覚的な要素にはあまり重点を置いていません。私がより重視するのは、適切なデータが収集されたか、適切な場所に配置されたか、適切な方法で処理されたか、という点です。そしてこの場合、エージェントはこれらのノードグラフの周囲に集団を形成するように理解していたのでしょうか?しかし、それは些細なことだ。要はワークフローの問題で、最近は作業が完了したことを確認するための出力としてHTMLページしか見ていないということです。
[3:03]これで私のワークフローはビット速くなりました。そして、先ほども申し上げたように、これらのツールを手に入れてから、以前よりも忙しくなったことに気づきました。つまり、生活が必ずしも楽になったわけではなく、どういうわけか私たちのような人間は結果的に終了よりも多くのことをこなすようになってしまったのだ。私の場合、よく10個くらいのタスクを同時にこなすのですが、ソートワークフローのおかげでそれらを管理しやすくなりました。
[3:32]当時自分が何をしていたかについてのコンテキストがあるこれらの HTML ページがあると、後で作業が実際に完了したかどうかを確認するのに役立ちます。これはどちらかというとプロシージャルな例でしたが、私はこれをクリエイティブな作業にも活用しました。この場合、私はUnityアプリケーションの一つにデータを取り込んだのですが、その情報をどのように視覚化するかを検討しています。
[3:59]私はエージェントたちに、私がそれをどのように実現できるかについていくつかの選択肢を提示するように指示しました。そして今はただスクロールして、気に入った点を外観だけです。色構成も様々だし、スケールも重要だし、透視カメラを使うか平行投影カメラを使うかも関係してくる。そして、私はただ見て回って、好きなものを選ぶことができる。そして、これを終えた後、私が通常行うことは、アプリケーションの上にUIとして表示して操作したいすべてのパラメータを公開するインタラクティブなアプリケーションをビルドことです。
[4:27]そのため、例えば外観を素早く調整し、UI のスクリーンショットを撮ってエージェントに送り返し、今後はこの外観がデフォルトであるとエージェントに伝えることができます。おかげで仕事のスピードが飛躍的に上がりました。
アイアンマンから埋め込まれたAIまで
しかし、ここで少し話題を変えて、先ほど話していたこと、つまりUnityアプリケーションにAIを組み込むことについてお話ししたいと思います。その背景を説明するために、15年前に遡ってみましょう。
[4:59]私は長い間映画の仕事をしていると言いましたが、15年前にはこのシーンに取り組んでいました。これはアイアンマン3からの非常に短いクリップです。これはスーツのアセンブリテストで、トニー・スタークが自分のボディにスーツを組み立てるための新しいシステムを解明しようとしている場面です。素晴らしい展開だ。だから、これを公開しているんです。しかし、私がこれを紹介するもう一つの理由は、トニーが共同で開発しているAIエージェントがいるからです。
[5:31]アイアンマンはおそらく、周囲の情報を視覚化できるAI支援システムと連携して、これらの偉大なエンジニアリングの偉業を成し遂げたエンジニアの最高の例だと思います。そして、ご記憶のとおり、(このシリーズに登場するAIアシスタントである)JARVISは、こうした情報をすべて提供することができます。それは離れて非同期タスク、シミュレーション、分析を実行し、その結果をこの魔法のようなXR環境に持ち帰ります。しかし、トニーはそのすべての情報を見ることができる。
[6:00] JARVISは質問に答えるのを手伝ってくれますが、この場合はトニーの安全対策について皮肉なコメントをたくさんします。それでは、こちらへ行きましょう。これがその見た目なんですね?つまり実際には、このロボットの周囲にはあらゆる情報が存在するということだ。そして、私たちがこの映画に取り組んでいた15年前当時は、これはすべてSFの世界の話だったのです。そして、私が何を言いたいのか、もうお分かりでしょう。
[6:28]それはもはやSFのように感じられません。こうしたことの多くは、今日では十分に実現可能だ。
NASAによる月面データデモとAIの幻覚を軽減する
[6:34]最近、MITの同僚研究者と共同で行ったプロジェクトをお見せしたいと思います。これからご覧いただくのは、私が拡張現実ヘッドセットを装着した対話型エージェントと会話している様子です。そしてエージェントは月に関する情報をもたらす。私たちは40年分の月面データをシステムに取り込み、それについて質問したり、月面サーフェスで直接視覚化したりできるようにしました。
[6:59]それをかけます。以下は、マッティがオーディエンスに見せたデモのオーディオです。
(動画の中のマティ)月に関する中性子データを用いて、水が存在する可能性のある場所を探るは可能でしょうか?
(動画で紹介されているアプリケーションに埋め込まれたAIアシスタント) :これから中性子のデータを示します。その値は32秒あたり531.52~615.83カウントの範囲です。中性子数が少ないということは、サーフェスに水素、ひいては水氷が存在する可能性を示唆している。温度グラデーションを適用しました。
[7:31]これは、フランチャイズに登場するJARVISよりも皮肉っぽくはないが、それでもかなり役に立つ。そして、これがミッションプランナーや教育者が月面データを対話するでどのように役立つ可能性があるかが分かるでしょう。
[8:01]今ご覧いただいたのは、私が数週間前にNASAエイムズ研究センターで発表した出版物の一部です。そして、ここで特に強調しておきたいのは、このシステムで使用しているアーキテクチャは、幻覚を軽減するために特別に設計されているということです。
[8:31]非常に強力な3Dランタイムに AI エージェントが存在するこのワールドに足を踏み入れても、私はまだ自分の目を信じたいと思っています。百聞は一見に如かず。そして、特にこのようなシステムの場合、人々を混乱させたり、誤った情報を提供したりする可能性があると思います。そして私たちは、これを可能な限り安全な状態に保つために最善を尽くしています。今回の業務に関する評価において、エージェントは捏造された情報を一切提示せず、ミスもほとんどなかった。そして、概して反応時間は非常に良好でした。だから、私たちはこのシステムにとても満足していました。
[8:59]もう少しクリップをお見せします。ここではオーディオをオフにして、その上から話せるようにしていますが、基本的には同じ構成です。話しかけるだけで反応してくれる。この場合、私は月を周回した特定の宇宙船の飛行経路を見せてほしいと依頼しています。私は見たいものを求めるだけでなく、どのように見たいかも求めているのです。特定の色を指定することで、エージェントと認識を共有し、何が視覚化されているのかを理解するための手っ取り早い方法となります。
[9:26]繰り返しになりますが、月へのミッションを計画したい場合や、単に人々を教育したい場合などに、これがどのように役立つかがわかります。もう一つあります。これは、私が可視化の修正を依頼した例です。この場合、エージェントはすでにこのグラデーションを用いて月面上のすべての標高レベルを視覚化していた。しかし、私が興味を持っているのは、4キロメートル地点における特定の標高レベルです。そこで、可視化の変更をお願いしたいのです。そして、私がシステムと会話を続ける間、これらすべてが私の正面の前で起こるのです。
都市データと合成人口
[10:01]私が所属している研究グループは「都市科学」と呼ばれています。それでは、都市開発プロジェクトについてお話ししましょう。これは、実際には建設されなかったこの建物の中を動き回る、人工的に作られた人口集団です。人口は、動き回るこれらの点によって視覚化されます。会話形式で情報を尋ねることができるシステムを使えば、ランダムなエージェントが建物内をどのように移動するかを視覚化するように依頼できる。
[10:27]この場合は、ランダムなに1つ頼みます。しかし、学生がする可能性のある旅行、25歳未満の学生の旅行、そして旅行の終了にバーに行く旅行についても尋ねてみることもできるでしょう。そして、それがなぜ午後10時にエレベーターがいつも満員なのかを理解するのにヘルプかもしれません。このソートに対話的な方法でデータを分析することで、建物をより良くし、そこに住む人々をより幸せで健康にすることができます。なぜなら、何が問題なのかをより簡単に分析できるからです。私たちの研究グループでは、人工的な個体群を多く用い、それらが環境とどのように対話するかをシミュレーションすることで多くのことを学んでいます。
[11:02]ここで私が実演しているような対話型エージェントを組み込むことで、これらの大規模なデータセットとの対話するがはるかに速くなりました。なぜなら、例えば10万個のエージェントをシミュレーションを行うできるからです。それを理解するのはそう簡単ではない。
こうしたやり取りが会話的な性質を持っていることを非常によく示す別の例を挙げましょう。だから私はこの可視化についてどんどん深く掘り下げています。可視化を外観したい場所を指定するだけで済みます
[11:33]さまざまな方法で。しかし、私はフィルターもできますし、さらに深く掘り下げて、エージェントが活動する特定の領域を特定することもできます。それら全ては会話形式で行われる。
つまり、問題は、なぜこれらすべてを気にする必要があるのか、ということでしょう。今日私が交わした会話の中には、皆さんの多くがUnityで既に視覚化している大量の空間情報を持っていることを示唆するものもありました。そして、これはソート情報を整理する上で非常に有効な方法になるのではないかと思います。
[12:01]問題は、これらの強力な3Dランタイム内で、必要に応じて情報を整理してくれるエージェントを使って何ができるかということです。もっと早く決断を下せますか?もっと良い判断ができますか?そしておそらく最も重要なのは、これをXR環境に導入し、より多くの人々と一緒に見ることで、他の人々とより早く共通認識を持つことができるのではないかということです。その際、エージェントが環境と外観たいデータをキュレーションしてくれるとしたらどうでしょうか?
[12:30]これまでお見せしてきたものは、質問の内容からすると比較的単純なものでした。可視化を要求したら、可視化が返ってきた。
マイニングのユースケースと多段階推論
これももう少し上げることができます。これは鉱業におけるユースケースです。私は鉱業や石油・ガス業界とは全く関係のない人間です。ですから、もし私が間違った用語を使っていたら、改めてお詫び申し上げます。しかし、これは地中のリチウム鉱床を合成したブロックモデルである。ここでの考え方は、サーフェス上の特定の地点を選び、「この場所を掘り開始たらどうなるだろうか?」と問いかけることです。
[12:58]その後、エージェントは非同期的に移動してデータを分析し、私がどこを掘りたいかを判断し、この場所から掘り始めた場合にどのような穴が外観可能性があるかのシミュレーションも実行します。つまり、背景にはこれらのシェル形状を作成できるモデルが備わっているということです。もちろん、これをXRグラスに搭載することも可能です。
[13:25]それから、テーブルを囲んで、私たち5人でそれを外観ことができます。これは、エージェントが露天掘り鉱山の形状変化を計算する別の例です。この手法は、経済モデルとリチウム価格の変動に関する仮定に基づいて、これらの変化する採掘坑の形状がどのようなものになるかを推定する。つまり、それは一度その場を離れ、このタスクを実行し、そして視覚的な反応を返してくれるので、結果がどうなるかを非常に視覚的に理解できるのです。そして、これらのモデルを、さらに別のモデルを、こうしたシステムに接続していくことを想像してみてください。
[14:02]風速や風のパターンに基づいて粉塵の動きを予測するモデルを作成したり、エージェントが鉱滓堆積サイトの場所や環境面への影響、さらにはそのサイトで開発を行う人々の収益への影響を提案したりすることもできます。そして、エージェントは複数の選択肢を提示し、環境目標であれ経済目標であれ、あなたの目標ヒットに向けて協力してくれるでしょう。
[14:33]私の特に関心のある研究テーマは、これらのシステムにおける多段階推論プロセスに取り組むことです。例えば、これを外観。あなたは今この場所にいて、ここで採掘したいのです。あなたは既にシェルがどのような外観になるかを理解しているでしょう。おそらくあなたは、こうソートことを理解できるエンジニアなのでしょう。しかし、それが道路のプレースメントにどのような影響を与え、終了的に収益にどのような影響を与えるかを考えてみてください。
[14:59]エージェントがあなたをある場所から別の場所へ連れて行き、物事を見せてくれるような、こうした多段階の推論プロセスは、私の特別な関心事であり、非常に重要だと考えています。これらの例が、このような環境における対話型エージェントの強力な可能性を示すヘルプとなれば幸いです。なぜなら、あなたは特定の分野に専門知識を持っている可能性があり、既に知っていることをエージェントに言われる必要はないからです。しかし、こうしたエージェントと仕事をしていると、知らないことが出てくる場合もある。
[15:32]財務モデリングには精通しているかもしれませんが、エンジニアリングのタスクには精通していないかもしれませんし、その逆かもしれません。技術的な意思決定を行う際には、経済面における下流への影響を理解しておくことも重要です。トニー・スタークのことを思い返してみると、彼は明らかに多くの分野で非常に高い専門知識を持っており、そのレベルは非現実的と言えるほどだ。しかし、JARVISは依然としてその不足を補うために存在している。つまり、JARVISはこうした背景タスクを実行し、情報を収集して、トニーが抱えているかもしれないあらゆる盲点を補うのだ。多くの場合、これらは彼が十分に認識していない、あるいは単に無視している安全上の懸念事項である。
締めくくり:デザイン目標とコミュニティとの連携
私は、このような対話型エージェントが、非常に高性能なリアルタイム3D環境において、今後ますます多く見られるようになると考えています。理想的には、これらのシステムには以下の3つの特性がすべて備わっていることが望ましい。
[16:29]私たちはそれらが強力で表現力豊かなものであることを望んでおり、特に規制産業においては、それらが安全で監査可能であることも望んでいます。そして、社内ユーザーであろうと外部ユーザーであろうと、ユーザーにとってこれらのシステムは高速で直感的に操作できるものであるべきだと考えています。そして、ほとんどの物事と同様に、これらのシステムを単純な方法でビルドと、3つのうち2つしか成功しないか、あるいは3つのうち1つしか成功しないかもしれません。ですから、これを特に安全かつ監査可能なものにするためには、ビット研究が必要だと考えています。
[17:01]でも、もしこれがうまくいけば、本当に素晴らしいことになると思います。つまり、システムにアクセスして、データに関するあらゆる質問をし、視覚的な回答を得て、データをフィルターして焦点を絞り込み、データを説明してくれるシステムを想像してみてください。こういったシステムをビルドことに非常に意欲を感じています。なぜなら、それらは非常に強力なものになると思うからです。既に進行中の建設プロジェクトに新しい同僚を迎え入れることを検討してみてはいかがでしょうか。
[17:29] AIパートナーと共に革新的なソリューションを見つけたり、さまざまな関係者を同じテーブルに集めて一緒に意思決定を行い、全員が同じ認識を持つようにしたりすること。そして、その点に関連して、私たちはこうしたシステムをコミュニティ参加型プラットフォームに組み込むことにも着手しました。私たちの研究グループには、特定のプロジェクトをフォワードさせるために一般の人々を巻き込むことに関して、多くの専門知識があります。しかし、現在、特定の建設プロジェクトに関しては多くの抵抗が存在する。
[18:00]そして、この特定のタイプのシステムによって、人々が集まり、より迅速に合意形成を促進できることを期待しています。なぜなら、こうした会議に出席する人の多くは、CAD図面を読めないからだ。しかし、もしあなたが彼らにこのことを説明し、状況とその状況が彼らの生活にどのように影響するかを説明する個別のシステムを用意できれば、人々がより早く同じ認識を持つようになることを期待しています。ですから、ご想像のとおり、私たちはほんのサーフェスをなぞったに過ぎません。


