Лучшие практики для разработки XR для промышленных приложений

Исполнительное резюме

За последние несколько десятилетий разработчики перенесли промышленность в цифровую сферу. Они создали онлайн-платформы, где люди могут покупать или продавать что угодно. Они создали открытые библиотеки, обучающие всему, от 3D CAD до плавки руды. Они разработали инструменты для сетевого взаимодействия, чтобы сотрудничать в оптимизации дизайна и 3D геометрии, и многом другом. В результате эксперты отрасли могут делиться и изучать что угодно всего за несколько кликов. Но для этого им все еще нужно подключиться к этой цифровой сфере.

Это привело к следующему этапу цифровой трансформации промышленности. Вместо того чтобы соединять физическую сферу промышленности с цифровой, разработчики намерены объединить их. По сути, цифровая сфера теперь непосредственно выходит на производственный этаж через виртуальную реальность (VR), дополненную реальность (AR) и смешанную реальность (MR) — в совокупности называемые расширенной реальностью (XR). Текущие промышленные приложения этих технологий включают:

• Обучение VR на цифровых производственных линиях для снижения рисков для людей, продуктов и имущества.
• Обслуживание с помощью AR, позволяющее людям на линии видеть, как дизайнеры намереваются решить проблему.
• Магазины с MR, где клиенты могут виртуально осмотреть или примерить продукты перед покупкой.
• Промышленные приложения технологий XR все еще находятся на начальной стадии. Поэтому разработчики в промышленности могут задаться вопросом, какие приложения доступны.

Однако недавнее добавление XR в промышленность заставляет разработчиков задаться другим вопросом: Каковы лучшие практики для создания этих опытов? Об этом будет обсуждено здесь.

Этот электронный учебник был заказан у engineering.com.

Что такое XR и как он изменит индустрию?

Хотя большинство разработчиков инстинктивно знают разницу между XR-технологиями, лучше определить их здесь, чтобы установить базовый уровень:

• Виртуальная реальность (VR) - это полностью цифровой опыт; единственные связи с реальным миром - это ввод пользователя и устройства отображения.
• Дополненная реальность (AR) - это мягкое смешение физического мира и виртуальной сферы; цифровые активы, информация и данные накладываются на реальные активы.
• Смешанная реальность (MR) полностью объединяет цифровую сферу и физический мир; цифровые активы взаимодействуют с реальными активами и наоборот.
• Расширенная реальность (XR) охватывает все вышеперечисленное.

«Я бы широко определил [XR] как создание погружающих опытов, которые размывают границу между физической и цифровой реальностями», - соглашается Сет Глейз, старший технический менеджер по продуктам в команде индустрии Unity. «Это включает в себя конкретно VR, или виртуальную реальность, AR, дополненную реальность и затем смешанную реальность.»

Промышленный пример VR может включать цифровую встречу или семинар. Здесь сотрудники со всего мира одновременно взаимодействуют с цифровым ландшафтом и цифровыми двойниками реальных активов. На самом деле каждый сотрудник носит VR-гарнитуру и использует устройство ввода для взаимодействия с виртуальной средой и цифровыми двойниками. Но в цифровой сфере сотрудники могут масштабировать двойников до любого размера (чтобы проверить или протестировать мельчайшие детали) или смоделировать производительность продукта в любой среде.

Еще одним хорошим применением VR является «погружающее обучение [так как] это часто единственный способ обучать в масштабе», - говорит Жером Мори-Делонэ, старший архитектор решений в команде индустрии Unity. «Вы не можете просто так взять [стажеров] на завод. [VR] может дать [объекту] доступ к [этим] сотрудникам ... приучая людей к опасностям [и лучшим практикам].»

Упомянутый выше пример обслуживания, однако, является хорошим описанием AR. Представьте, что инженер по обслуживанию носит каску с прикрепленным устройством, похожим на Google Lens. Дисплей может уведомить их о том, что машина на производственной линии нуждается в обслуживании, направить их к месту расположения машины, показать им сломанную деталь на машине и затем наложить видео, объясняющее, как исправить эту деталь.

Смешанная реальность поднимает концепцию смешанной реальности AR на шаг вперед и, таким образом, часто сочетает ее с элементами VR. Представьте себе пример обслуживания AR выше. Только теперь инженер по обслуживанию работает из дома с устройствами ввода VR и гарнитурой. С точки зрения инженера, он перемещается по цифровому ландшафту, состоящему из цифрового двойника производственной линии. Тем временем на физической производственной линии робот, управляемый этим инженером, физически ремонтирует машину.

Проблемы создания промышленных XR-опытов

С полным определением терминов XR и ясностью их потенциала для промышленных приложений разработчики, естественно, начнут задумываться о проблемах, с которыми они столкнутся при создании этих погружающих опытов. Джонатан де Белль, менеджер по разработке программного обеспечения в команде по промышленности в Unity, объясняет, что его команда часто вызывается, чтобы помочь клиентам адаптировать свои данные и дизайны для XR-приложений. В результате он знает о распространенных проблемах XR, с которыми сталкиваются разработчики.

Он объясняет, что первой проблемой обычно является то, что 3D-модели клиента слишком велики, чтобы их можно было легко интегрировать в цифровой опыт. Де Белль говорит, что его команда часто работает с "очень большими, очень детализированными моделями... Количество деталей огромное, и каждая из этих деталей очень детализирована, потому что [мы работаем с] данными о производстве. Это не традиционные игровые данные."

Связанная, но другая проблема возникает из-за большого объема метаданных, связанных с 3D-моделями и другими цифровыми активами. Примеры этих негеометрических данных могут включать свойства материала актива. В XR-опыте эти значения могут быть извлечены и добавлены к цифровому дисплею. Хотя прочность на сжатие одного актива не является большим объемом данных, вероятно, она извлекается из данных о свойствах материалов, которые охватывают все предприятие — что может быть большим объемом данных.

"У вас есть и невизуальные данные," соглашается де Белль. "Вы хотите, чтобы эти данные были доступны в приложении во многих случаях. И получение этой... соответствующей информации также является проблемой, потому что ее много."

Этот объем данных приносит еще одну проблему: Совместимость аппаратного обеспечения XR. Невозможно предсказать, какое устройство может использовать пользователь при доступе к XR-опыту в дикой природе. Таким образом, этот огромный объем данных должен быть переносимым и совместимым с многочисленным программным и аппаратным обеспечением, включая устаревшие ЦП, ГП и гарнитуры.

Это также означает, что разработчики сталкиваются с задачей обеспечения будущей совместимости своих XR-приложений. Поскольку многие мобильные устройства, такие как телефоны, имеют ежегодную смену моделей, так же важно, чтобы XR-опыт работал как на будущих устройствах, так и на устаревших.

Еще одной проблемой, с которой сталкиваются дизайнеры при создании XR-моделей для промышленных приложений, является то, что им обычно нужен доступ к цифровым двойникам, собственным данным и информации, заблокированной в различных корпоративных хранилищах данных. Эта проблема усугубляется при работе с данными в реальном времени. Поскольку важно, чтобы цифровая сфера отражала физическую, контроль версий 3D-ресурсов и различных других источников данных имеет критическое значение.

Лучшие практики при создании XR-опытов

Хотя XR-опыты будут различаться, Unity показала, что многие из проблем, с которыми сталкиваются разработчики, остаются прежними. В результате компания разработала лучшие практики для решения многих из этих проблем.

Спросите себя: "Какую проблему решает этот XR-опыт?"

Глейз отмечает, что первой и часто самой важной лучшей практикой при создании XR-приложений является понимание и определение случая использования и преимуществ в начале разработки. Добавление XR в промышленные рабочие процессы не должно быть связано с желанием следовать последним технологическим трендам. Например, нет смысла переносить каждую встречу в XR-среду, когда видеозвонок может быть достаточным. Нет необходимости навязывать пользователям погружающие опыты, если это не решает конкретную проблему.

Определив случай использования и преимущества XR-приложения в первую очередь, разработчики могут использовать эту информацию для ограничения его объема, бюджета и времени разработки. Это также помогает им ограничить многие из вышеупомянутых проблем. Как только начальный XR-опыт завершен, разработчики могут рассмотреть возможность расширения его объема или создания нового.

Лучшие XR-опыты адаптированы к решаемой проблеме

Как только разработчики понимают проблему, которую решает их XR-опыт, они могут лучше адаптировать его к этой потребности. Например, если приложение должно:

• Помогать клиентам пробовать продукты, тогда идеальный шоу-рум — это «задний двор» клиентов.
• Обучать работников технического обслуживания, тогда идеальная учебная комната — это ваше собственное оборудование.
• Тестировать дизайны продуктов, тогда идеальные испытательные площадки — это естественная среда вашего продукта.

Например, Glaze ссылается на австралийского разработчика, который сосредоточен на погружающих VR-обучающих опытах для промышленных приложений. Один из этих опытов включал обучение работников ремонту морских нефтяных платформ. Оборудование работает круглосуточно и стоит миллионы долларов, чтобы остановить его. Тем временем, моделирование экстренных сценариев на этих объектах может быть опасным. Поэтому трудно обучать работников на оборудовании в реальном мире.

Чтобы решить эту проблему, разработчик создал индивидуальные цифровые двойники реального оборудования и добавил их в XR-приложения. Во время обучения сотрудники теперь используют этот инструмент, чтобы практиковаться в решении потенциальных проблем, которые могут возникнуть в реальности.

Разработчик обнаружил, что недостаточно, чтобы эти XR-симуляции моделировали любую нефтяную платформу; необходимо моделировать ту нефтяную платформу, на которой работает сотрудник. В противном случае они могут споткнуться в решающий момент, пытаясь перенести свои знания из обучения на текущее оборудование.

Используйте модели, которые у вас есть

Отрасль переполнена данными, моделями и 3D-геометрией, которые могут быть использованы в XR-приложениях. Glaze привел пример компании, разрабатывающей аттракционы и развлечения для тематического парка. 3D CAD модели этих аттракционов уже существуют. Таким образом, их можно использовать для ускорения разработки XR-приложений.

Тематические парки — это востребованные места, но не у всех есть средства или возможность их посетить. Это можно считать упущенной прибылью для парка и упущенной возможностью для потенциальных посетителей. Вместо этого парк мог бы создать погружающие впечатления, используя свои 3D-модели, чтобы достичь этих фанатов. Теперь больше людей могут получить доступ к этим аттракционам издалека, независимо от их физического местоположения или состояния. Тем временем парк создает новый источник дохода, улучшая рентабельность инвестиций этих аттракционов.

«Вы можете использовать эти активы много раз», — говорит Глейз. «На этом этапе они лишены функций с точки зрения безопасности. Вы не собираетесь включать всю свою CAD-модель. Но вы можете повторно использовать эти [лишенные функций моделей], чтобы поддержать свою команду продаж. … Эти [впечатления] могут быть такими, как … виртуальные примерки, или вы проводите экскурсию по объектам, которые вы создали, используя эти [модели].»

Очистите и оптимизируйте свои данные для работы в реальном времени 3D

Большая часть внутренней 3D-данных, к которым имеют доступ разработчики, поступает в виде CAD-файлов. Это имеет смысл, так как CAD-инструменты предназначены для промышленных рабочих процессов, таких как проектирование, разработка и производство продуктов. Эти рабочие процессы требуют больше информации, чем необходимо, или совместимо с XR-средами. Но, как утверждает предыдущая лучшая практика, эти CAD-данные должны быть использованы. Де Белль и Мори-Делон объясняют, что это противоречие подпитывает другую лучшую практику разработки XR: оптимизацию и упрощение данных.

«Отделите ваше приложение от ваших данных, внешние данные», — говорит Мори-Делон. «Это действительно важно, потому что следующее оборудование, которое выйдет, возможно, вам придется переработать данные, чтобы они соответствовали требованиям оборудования этой платформы. Если ваши данные встроены в ваше приложение, это создаст много [работы], чтобы снова открыть проект [для загрузки данных].»

Первый способ сделать это — создать иерархическую систему загрузки уровней детализации (или LOD), где функции 3D-объекта переменные. По сути, когда пользователь видит объект издалека, это простой контур 3D-модели — даже если этот объект состоит из тысяч частей. Когда пользователи приближаются, рисуются больше деталей, и в опыт добавляются больше моделей. В конечном итоге достаточно данных вводится в цифровую реальность, чтобы пользователи могли увеличивать отдельные части. Де Белль называет это методом потоковой передачи полигонов для 3D-геометрии.

Он также объясняет, что инструменты могут использоваться для извлечения данных из CAD-моделей, чтобы их можно было использовать в более «игровой» среде. Это имеет дополнительное преимущество в защите интеллектуальной собственности (ИС). Эти инструменты могут варьироваться в том, насколько 3D-модель абстрагирована в зависимости от случая использования XR.

«Это связано с первой [лучшей практикой]», — говорит де Белль. «Спросите себя: «Что вы пытаетесь сделать с этими данными, и какие части данных я могу удалить?» Это устранит проблемы с безопасностью, [уменьшая] утечки данных, но, с другой стороны, это уменьшит общий объем данных и упростит их обработку, чтобы фактически получить их в реальном времени.»

Будьте готовы к будущему для нового оборудования XR, источников данных и интеграций

Чтобы оптимизировать ROI XR-опыта, разработчики должны убедиться, что они готовы к будущему. Это не только означает, что цифровой двойник в этих приложениях должен отражать реальный актив в реальном времени, но также означает, что само приложение XR совместимо с текущим оборудованием XR. Для этого разработчики должны убедиться, что их данные соответствуют открытым стандартам. Это может быть сложно, так как стандарты постоянно развиваются и плохо определены для приложений XR.

Чтобы справиться с этим, Мори-Делоней предлагает, чтобы автоматизированные системы были жизненно важными. «Наличие интеллекта, встроенного в наши инструменты, имеет огромное значение», — говорит он. «Это не просто преобразование [3D-моделей], это динамические преобразования, которые адаптируются к вашему случаю использования... Сложная сборка может видеть 60 обновлений в день, верно? Потому что над этим работают 30 человек на различных частях. Поэтому наличие этих автоматизаций критически важно.»

Начните с малого, затем расширяйтесь

XR-опыт не обязательно должен охватывать всю организацию с момента его выпуска. Он может, и часто должен, начинаться с малого, чтобы упростить разработку, уменьшить проблемы и улучшить интеграцию рабочих процессов. Гораздо лучше создать XR-приложение, которое показывает инженеру по обслуживанию, как починить одну деталь, чем никогда не выпускать его из-за разрастания функций. Как только опыт подтвердит свою ценность, его можно будет расширить на другие ситуации.

Мори-Делоне отмечает, что это снова связано с вопросом о том, какую проблему будет решать XR-опыт, так как это помогает определить его начальный объем. Он говорит: «Это нахождение тех мелких проблем, их решение, а затем вы строите на этом, как только подтвердите возврат инвестиций для этого решения." Вы строите на этом, чтобы решать все больше и больше проблем внутри организации."

Как Unity может помочь создать XR-опыты

С помощью Unity разработчики могут создавать промышленные XR-опыты, соблюдая лучшие практики и ограничивая общие проблемы.

Например, Unity Pixyz может быть отличным активом для разработчиков, стремящихся интегрировать 3D-данные своей организации в XR-приложения. Инструмент может импортировать и конвертировать CAD, BIM, сетки, облака точек и многие форматы 3D-данных, оптимизировать их и управлять метаданными внутри, чтобы сделать их подходящими для использования в XR-опытах. Unity также предлагает инструменты управления активами, которые упрощают разработчикам поиск и использование этих данных, чтобы они могли создавать погружающие опыты.

В качестве доказательства Глейз указывает на пример клиента Unity из японской строительной компании. Компания цифровала все свои активы и проекты. Любая машина, которую она использует или строит, может быть использована в любом XR-опыте, который компания хочет создать. И поскольку компания использует экосистему Unity, эти приложения могут быть развернуты как в веб-браузерах, так и в нативных приложениях. Экосистема Unity также предлагает платформу «от начала до конца», которая упрощает прием, обработку, подготовку и управление 3D-активами строительной компании.

«Сила Unity в том, что мы можем помочь вам создать XR-опыты, которые работают на планшете или на последней гарнитуре», говорит Глейз, «но мы также помогаем вам поддерживать ваши устаревшие устройства, расширяя ваши бюджеты и необходимость обучать сотрудников новому оборудованию."

Что касается других способов, которыми Unity может помочь разработчикам создавать XR-опыты, Глейз говорит: «Я думаю, что это сводится к тому, хотите ли вы делать это сами или хотите, чтобы целая команда Unity помогала вам убедиться, что вы совместимы с последним устройством, которое вот-вот выйдет." В некоторых случаях мы даже получаем ранний доступ к оборудованию, что помогает нашим пользователям первыми развернуть на следующем большом событии... Мы также следим за последними открытыми стандартами. Будь то последний проект с открытым исходным кодом Meta или форматы файлов, такие как универсальное описание сцены (USD). У нас есть ресурсы, чтобы следить за этим и убедиться, что наши пользователи остаются как можно более актуальными.

Unity также предлагает образовательные ресурсы, чтобы помочь разработчикам создавать промышленные XR-приложения. Эти ресурсы включают обучение, консультации и форумы для обсуждения в сообществе.