From simulation to real-world deployment: Unity Simulation Pro early access
Isaac Seah - Unity Technologies
Principal Technical Product Manager
多年来，机器人团队一直在Unity Industry 的基础上进行开发，应对各种各样的挑战，从自动驾驶验证和制造数字孪生到外科手术设备开发。在此过程中，每个团队都独立地解决了同一设置问题：机器人的物理描述必须手工重建，传感器必须从头开始编写，与 ROS 等开放标准的集成也必须构建和维护。Unity Simulation Pro将这些功能整合到一个受支持的软件包中，可以帮助团队减少构建仿真基础设施的时间，从而将更多时间用于验证机器人系统。
今天，我们正式推出Unity Simulation Pro 的抢先体验版，这是 Unity 专为这些工作流程打造的机器人模拟软件包。Unity Simulation Pro与Unity 6.3及更高版本兼容，需要Unity Industry许可证。
Simulation Pro包含哪些内容？
Simulation Pro是一款功能齐全的机器人工具包，可帮助开发人员直接在Unity中导入、模拟和迭代机器人系统。该软件包为各种用例提供了更高关卡的支持，从传感器仿真和机器人训练到机器人系统的虚拟调试，使得使用Unity编译版本机器人仿真和应用程序比以往任何时候都更加容易。
从宏观关卡来看，它包括：
- URDF（统一RobotDescription格式）导入器，提供拖放操作，可将机器人现有的物理描述及其运动链完整地导入Unity。
- 开箱即用的传感器仿真功能，涵盖激光雷达、图像和惯性测量单元 (IMU) 配置
- ROS 2 兼容性，将Unity连接到运行RobotOperating System2 的系统
- 无头Linux编译版本目标，使团队能够在没有图形界面的情况下运行模拟，并在现有硬件上缩放。
“机器人团队选择Unity是因为他们需要实时渲染、精确的物理效果和值得信赖的传感器模拟。从本质上讲，他们想要建立一个基础，使机器人能够无缝地从实验室过渡到现实世界。Simulation Pro是该基础架构， Unity Industry 的客户现在即可访问。 ”
Alex Blum - Unity
Chief Operating Officer团队如何利用Unity进行机器人开发
无需测试车辆即可验证自动驾驶
TIER IV 致力于通过开放开发来提高可及性和可扩展性，从而make自动驾驶技术惠及所有人。为了支持这一愿景， TIER IV 构建了 AWSIM，这是一个使用Unity开发的开源simulator，它可以帮助团队在更真实、更高效的环境中测试、验证和优化开源自动驾驶软件 Autoware。
自动驾驶模拟对渲染提出了比典型交互式3D应用更高的要求，因为每一帧都必须实时地向多个高分辨率传感器提供数据。某些 AWSIM 场景调用同时running八个或更多摄像头，同时保持传感器的保真度，这是标准优化技术本身无法实现的。该团队在Unity中开发了设置专门的优化措施来应对这一挑战：在不同摄像机之间交错渲染以消除帧峰值，时间缩放控制以在每帧分配更多资源，资源优化，以及在单个项目中灵活使用不同的渲染管线以平衡精度和帧速率。
TIER IV 还利用Unity作业系统和内置物理，在车辆、交通和行人模拟方面保持实时性能。为了进行硬件在环测试，该团队分析了原始传感器数据包，并从Unity中重现了等效输出，因此可以在将任何东西部署到物理测试车辆之前对摄像头传感器设置进行在环测试，从而减少物理测试车辆的时间和道路测试成本。
来自一家没有CAD系统的工厂的10万个带标签的帧
韩国工业技术研究院 (KITECH) 需要训练数据，以使人工智能能够理解人和机器人如何在生产车间内协同工作。这是现实世界中最难收集的数据集之一。一个运转良好的工厂布局合理，避免工人与机器近距离接触，因此反复安排近距离接触进行拍摄是选项的。
为了测量接近程度，视频、深度、机器人关节和人体姿态都必须同时存在，以便能够一致地计算距离和安全区域标签。首先，由于没有 CAD 源文件，KITECH 利用点云端扫描构建了一个金属铸造厂的数字孪生模型。然后，该团队在该数字孪生体的基础上构建了物理、传感器和仿真系统。该传感器装置使用了与真实装置相匹配的定制传感器组件，确保每次观测都共享一个模拟时钟。
他们还利用 Unity 的Articulation Body组件进行机器人模拟，重放记录的关节轨迹，以便同时计算惯性和接触，从而确保运动在物理上是有效的，而不仅仅是合理的。
这种物理保真度使 KITECH 能够在 14 周内自动生成超过 100,000 个预标记的训练帧，从而无需在活跃的工厂车间手动设置危险的接近场景，同时确保可靠的模拟到现实的转移。
机器人辅助手术数字孪生
美敦力公司在Unity中围绕其 Hugo 机器人辅助手术系统的数字孪生体构建了一个数据记录和回放管线，记录了全球五个地点的 195 例手术。
““Unity是我们所有原型制作的首选平台，这样我们就可以快速地将产品送到外科医生面前。””
Matthew Euliano - Medtronic
Senior Software Engineer
这些录音成为了工程师和研究人员可重复使用的dataset。团队无需等待访问手术室来回答问题，而是可以加载录制的手术过程，逐帧播放，找出相关时刻，并从任何角度进行检查。同样的数据也支持确定性回放，记录手术数据以训练新的 AI 模型并为下一代设备的设计提供信息，因此每次记录在手术本身结束后很长时间内都能继续产生价值。
供货情况和价格
- Simulation Pro将于 9 月 22 日星期二开始提供抢先体验。注册Unity Simulation Pro抢先体验版。
- Simulation Pro与Unity 6.3 及更高版本兼容，需要Unity Industry许可证。
- Simulation Pro是一个完全支持的软件包，包括 Unity 的 URDF 导入器、开箱即用的传感器、ROS 2支持和无头 Linux编译版本目标。查阅Unity Simulation Pro软件包文档。
- Unity Academy为入门团队提供了一套机器人学习路径。在Unity Academy上探索机器人学习路径。
我们特别希望听到在制造业、物流业、仓储业和其他先进机器人领域缩放running机器人验证、传感器测试或合成数据生成的团队的意见。
在Unity Discussions上与Unity Simulation Pro开发团队Connect。我们期待了解更多关于您正在开发的项目的信息。