From simulation to real-world deployment: Unity Simulation Pro early access
Isaac Seah - Unity Technologies
Principal Technical Product Manager
Para tu comodidad, tradujimos esta página mediante traducción automática. No podemos garantizar la precisión ni la confiabilidad del contenido traducido. Si tienes alguna duda sobre la precisión del contenido traducido, consulta la versión oficial en inglés de la página web.
Los equipos de robótica llevan años trabajando con Unity Industry , abordando una amplia variedad de desafíos, desde la validación de la conducción autónoma y la fabricación de gemelos digitales hasta el desarrollo de dispositivos quirúrgicos. En el proceso, cada uno de esos equipos resolvió el mismo conjunto de problemas de forma independiente: La descripción física del robot tuvo que reconstruirse manualmente, los sensores tuvieron que programarse desde cero y las integraciones con estándares abiertos como ROS tuvieron que desarrollarse y mantenerse. Al integrar estas capacidades en un único paquete compatible, Unity Simulation Pro puede ayudar a los equipos a dedicar menos tiempo a la creación de infraestructura de simulación y más tiempo a la validación de sistemas robóticos.
Hoy lanzamos Unity Simulation Pro en acceso anticipado , el paquete de simulación robótica de Unity diseñado para estos flujos de trabajo. Unity Simulation Pro es compatible con Unity 6.3 y versiones posteriores, y requiere una licencia de Unity Industry .
Qué incluye Simulation Pro
Simulation Pro es un conjunto de herramientas de robótica con soporte completo que ayuda a los desarrolladores a importar, simular e iterar sobre sistemas robóticos directamente en Unity. Este paquete ofrece un mayor nivel de soporte para una amplia gama de casos de uso, desde la simulación de sensores y el entrenamiento de robots hasta la puesta en marcha virtual de sistemas robóticos, lo que facilita más que nunca la creación de simulaciones y aplicaciones robóticas con Unity.
A grandes rasgos, incluye:
- Importador URDF (Formato Unificado de Descripción de Robots) , una experiencia de arrastrar y soltar que incorpora la descripción física existente de un robot a Unity con su cadena cinemática intacta.
- Simulación de sensores lista para usar , que abarca configuraciones de LiDAR, imagen y unidad de medición inercial (IMU).
- Compatibilidad con ROS 2 , conectando Unity a sistemas que operan en Robot Operating System 2.
- Objetivo de compilación de Linux sin interfaz gráfica , para que los equipos puedan ejecutar simulaciones sin una interfaz gráfica y escalarlas en paralelo en el hardware existente.
“Los equipos de robótica recurrieron a Unity porque necesitaban renderizado en tiempo real, física precisa y una simulación de sensores fiable. En esencia, querían crear una base que permitiera una transición fluida de los robots del laboratorio al mundo real. Simulation Pro es esa base, y los clientes de Unity Industry pueden acceder a ella hoy mismo. ”
Alex Blum - Unity
Chief Operating OfficerCómo los equipos aprovechan Unity para la robótica
Validación de la conducción autónoma sin el vehículo de prueba
TIER IV trabaja para que la conducción autónoma esté al alcance de todos, abriendo el desarrollo para mejorar la accesibilidad y la escalabilidad. Para respaldar esa visión, TIER IV creó AWSIM, un simulador de código abierto desarrollado con Unity que ayuda a los equipos a probar, validar y optimizar Autoware, un software de conducción autónoma de código abierto, en un entorno más realista y eficiente.
La simulación de conducción autónoma impone exigencias de renderizado que las aplicaciones 3D interactivas típicas no tienen, ya que cada fotograma debe alimentar múltiples sensores de alta resolución en tiempo real. Algunos escenarios de AWSIM requieren que ocho o más cámaras funcionen simultáneamente, preservando la fidelidad del sensor, algo que las técnicas de optimización estándar no podrían lograr por sí solas. Trabajando en Unity, el equipo creó un conjunto de optimizaciones especializadas para gestionar esa carga: renderizado escalonado entre cámaras para suavizar los picos de fotogramas, controles de escala de tiempo para asignar más recursos por fotograma, optimización de activos y la flexibilidad para usar diferentes pipelines de renderizado dentro de un mismo proyecto para equilibrar la precisión con la velocidad de fotogramas.
TIER IV también utilizó el sistema de tareas de Unity y la física integrada para mantener un rendimiento en tiempo real en la simulación de vehículos, tráfico y peatones. Para las pruebas de hardware en bucle, el equipo analizó los paquetes de datos brutos de los sensores y reprodujo la salida equivalente de Unity, de modo que las configuraciones de los sensores de la cámara pudieran probarse en bucle antes de que se implementara nada en un vehículo de prueba físico, lo que redujo las horas de prueba del vehículo físico y el coste de las pruebas en carretera.
100.000 marcos etiquetados de una planta sin CAD
El Instituto Coreano de Tecnología Industrial (KITECH) necesitaba datos de entrenamiento para una IA que comprendiera cómo las personas y los robots comparten una planta de fabricación. Este es uno de los conjuntos de datos más difíciles de recopilar en el mundo físico. Una planta bien gestionada está diseñada de tal manera que nunca se producen momentos de proximidad entre un trabajador y una máquina, y recrearlos repetidamente para filmarlos no es una opción razonable.
Para medir la proximidad, era necesario que el vídeo, la profundidad, las articulaciones del robot y la postura humana existieran simultáneamente, de modo que la distancia y las etiquetas de la zona de seguridad pudieran calcularse de forma coherente. Para empezar, KITECH construyó un gemelo digital de una planta de fundición de metales a partir de escaneos de nubes de puntos , ya que no existía ninguna fuente CAD. Posteriormente, el equipo construyó sistemas de física, sensores y simulación sobre esa base de gemelo digital. El sistema de sensores utilizaba componentes personalizados que coincidían con los del sistema real, lo que garantizaba que cada observación compartiera un mismo reloj de simulación.
También aprovecharon los componentes Articulation Body de Unity para la simulación de robots, reproduciendo las trayectorias articulares grabadas para que la inercia y el contacto se calcularan conjuntamente, garantizando así que el movimiento fuera físicamente válido en lugar de simplemente plausible.
Esta fidelidad física permitió a KITECH generar automáticamente más de 100.000 fotogramas de entrenamiento preetiquetados en 14 semanas, eliminando la necesidad de recrear manualmente escenarios de proximidad peligrosos en una planta de producción en funcionamiento, al tiempo que garantizaba una transferencia fiable de la simulación a la realidad.
Gemelo digital de cirugía robótica
Medtronic desarrolló un sistema de registro y reproducción de datos en Unity en torno a una réplica digital de su sistema de cirugía robótica Hugo , que registró 195 procedimientos en cinco centros de todo el mundo.
““Unity es nuestra plataforma principal para todos los prototipos, lo que nos permite presentarlos rápidamente a los cirujanos.””
Matthew Euliano - Medtronic
Senior Software Engineer
Las grabaciones se convirtieron en un conjunto de datos reutilizable para ingenieros e investigadores. En lugar de esperar a tener acceso al quirófano para responder a una pregunta, los equipos podrían cargar un procedimiento grabado, revisarlo, aislar el momento relevante e inspeccionarlo desde cualquier ángulo. Los mismos datos también sirvieron de base para reproducciones deterministas que registraban datos de procedimientos para entrenar nuevos modelos de IA e informar el diseño de dispositivos de próxima generación, de modo que cada grabación sigue generando valor mucho después de que el procedimiento en sí haya finalizado.
Disponibilidad y precios
- Simulation Pro estará disponible en acceso anticipado a partir del martes 22 de septiembre. Regístrate para obtener acceso anticipado a Unity Simulation Pro .
- Simulation Pro es compatible con Unity 6.3 y versiones posteriores, y requiere una licencia de Unity Industry .
- Simulation Pro es un paquete con soporte completo que incluye el importador URDF de Unity, sensores listos para usar, compatibilidad con ROS 2 y un objetivo de compilación para Linux sin interfaz gráfica. Explore la documentación del paquete Unity Simulation Pro .
- Unity Academy ofrece una ruta de aprendizaje de robótica para equipos que se inician en este campo. Explora la ruta de aprendizaje de robótica en Unity Academy .
Nos interesa especialmente conocer la experiencia de equipos que realizan validación de robots, pruebas de sensores o generación de datos sintéticos a gran escala en los sectores de fabricación, logística, almacenamiento y otros sectores de robótica avanzada.
Conéctate con el equipo de desarrollo de Unity Simulation Pro en Unity Discussions . Estamos deseando saber más sobre lo que estás construyendo.