From simulation to real-world deployment: Unity Simulation Pro early access
Isaac Seah - Unity Technologies
Principal Technical Product Manager
Esta página da Web foi automaticamente traduzida para sua conveniência. Não podemos garantir a precisão ou a confiabilidade do conteúdo traduzido. Se tiver dúvidas sobre a precisão do conteúdo traduzido, consulte a versão oficial em inglês da página da Web.
As equipes de robótica vêm utilizando o Unity Industry há anos, trabalhando em uma ampla variedade de desafios, desde a validação de direção autônoma e gêmeos digitais de manufatura até o desenvolvimento de dispositivos cirúrgicos. Ao longo do processo, cada uma dessas equipes resolveu o mesmo conjunto de problemas de forma independente: A descrição física do robô teve que ser reconstruída manualmente, os sensores tiveram que ser programados do zero e as integrações com padrões abertos como o ROS tiveram que ser criadas e mantidas. Ao reunir essas funcionalidades em um único pacote com suporte, o Unity Simulation Pro pode ajudar as equipes a gastar menos tempo construindo infraestrutura de simulação e mais tempo validando sistemas robóticos.
Hoje, estamos lançando o Unity Simulation Pro em Acesso Antecipado , o pacote de simulação robótica da Unity desenvolvido para esses fluxos de trabalho. O Unity Simulation Pro é compatível com o Unity 6.3 e versões mais recentes e requer uma licença Unity Industry .
O que o Simulation Pro inclui
Simulation Pro é um kit de ferramentas de robótica totalmente compatível que ajuda os desenvolvedores a importar, simular e iterar em sistemas robóticos diretamente no Unity. Este pacote oferece um nível maior de suporte a uma ampla gama de casos de uso, desde simulação de sensores e treinamento de robôs até o comissionamento virtual de sistemas robóticos, tornando mais fácil do que nunca criar simulações e aplicações de robótica com o Unity.
Em linhas gerais, inclui:
- Importador URDF (Unified Robot Description Format) , uma experiência de arrastar e soltar que traz a descrição física existente de um robô para o Unity , mantendo intacta sua cadeia cinemática.
- Simulação de sensores pronta para uso , abrangendo configurações de LiDAR, imagem e unidade de medição inercial (IMU).
- Compatibilidade com ROS 2 , conectando o Unity a sistemas que operam no Robot Operating System 2.
- Plataforma de compilação Linux sem interface gráfica , permitindo que as equipes executem simulações sem uma interface gráfica e as escalem em paralelo em hardware existente.
“As equipes de robótica recorreram à Unity porque precisavam de renderização em tempo real, física precisa e simulação de sensores em que pudessem confiar. Essencialmente, o objetivo era criar uma base que permitisse a transição perfeita de robôs do laboratório para o mundo real. O Simulation Pro é essa base, e os clientes da Unity Industry podem ter acesso a ele hoje mesmo. ”
Alex Blum - Unity
Chief Operating OfficerComo as equipes utilizam o Unity para robótica
Validação da condução autônoma sem o veículo de teste
A TIER IV está trabalhando para tornar a condução autônoma acessível a todos, abrindo o desenvolvimento para melhorar a acessibilidade e a escalabilidade. Para apoiar essa visão, a TIER IV criou o AWSIM, um simulador de código aberto desenvolvido com Unity que ajuda as equipes a testar, validar e otimizar o Autoware, um software de direção autônoma de código aberto, em um ambiente mais realista e eficiente.
A simulação de condução autônoma impõe exigências de renderização que os aplicativos 3D interativos típicos não impõem, porque cada quadro precisa alimentar vários sensores de alta resolução em tempo real. Alguns cenários do AWSIM exigem oito ou mais câmeras funcionando simultaneamente, preservando a fidelidade do sensor, algo que as técnicas de otimização padrão não conseguem fazer sozinhas. Trabalhando no Unity, a equipe criou um conjunto de otimizações especializadas para suportar essa carga: renderização escalonada entre câmeras para suavizar picos de frames, controles de escala de tempo para alocar mais recursos por frame, otimização de assets e a flexibilidade de usar diferentes pipelines de renderização dentro de um único projeto para equilibrar precisão e taxa de quadros.
O TIER IV também utilizou o sistema de tarefas Unity e a física integrada para manter o desempenho em tempo real em simulações de veículos, tráfego e pedestres. Para testes de hardware em loop, a equipe analisou pacotes brutos de sensores e reproduziu a saída equivalente a partir do Unity, de modo que as configurações de sensores de câmera pudessem ser testadas em loop antes de qualquer implementação em um veículo de teste físico, reduzindo as horas de teste em veículos físicos e o custo dos testes em vias públicas.
100.000 quadros etiquetados de uma fábrica sem CAD
O Instituto Coreano de Tecnologia Industrial (KITECH) precisava de dados de treinamento para uma IA que compreendesse como pessoas e robôs compartilham um chão de fábrica. Este é um dos conjuntos de dados mais difíceis de coletar no mundo físico. Uma fábrica bem administrada é projetada de forma que momentos de proximidade entre um trabalhador e uma máquina nunca aconteçam, e encenar esses momentos repetidamente para filmá-los não é uma opção viável.
Para medir a proximidade, vídeo, profundidade, articulações do robô e pose humana precisavam existir simultaneamente, para que a distância e as etiquetas da zona de segurança pudessem ser calculadas de forma consistente. Para começar, a KITECH construiu um gêmeo digital de uma fundição de metais a partir de varreduras de nuvens de pontos , já que não existia nenhuma fonte CAD. A equipe então construiu sistemas de física, sensores e simulação sobre esse gêmeo digital. O conjunto de sensores utilizou componentes personalizados que correspondiam ao equipamento real, garantindo que cada observação compartilhasse o mesmo relógio de simulação.
Eles também aproveitaram os componentes Articulation Body do Unity para simulação de robôs, reproduzindo trajetórias articulares gravadas para que a inércia e o contato fossem calculados em conjunto, garantindo que o movimento fosse fisicamente válido e não apenas plausível.
Essa fidelidade física permitiu à KITECH gerar automaticamente mais de 100.000 frames de treinamento pré-rotulados em 14 semanas, eliminando a necessidade de encenar manualmente cenários de proximidade perigosos em um chão de fábrica ativo, ao mesmo tempo que garantia uma transferência confiável da simulação para a realidade.
Gêmeo digital para cirurgia robótica
A Medtronic construiu um sistema de registro e reprodução de dados em Unity em torno de um gêmeo digital de seu sistema de cirurgia robótica Hugo , capturando 195 procedimentos em cinco locais ao redor do mundo.
““A Unity é o nosso ponto de contato principal para todos os protótipos, o que nos permite apresentá-los aos cirurgiões rapidamente.””
Matthew Euliano - Medtronic
Senior Software Engineer
As gravações se tornaram um conjunto de dados reutilizável para engenheiros e pesquisadores. Em vez de esperar pelo acesso à sala de cirurgia para responder a uma pergunta, as equipes poderiam carregar um procedimento gravado, percorrer o vídeo, isolar o momento relevante e inspecioná-lo de qualquer ângulo. Os mesmos dados também permitiram a reprodução determinística de dados de procedimentos gravados para treinar novos modelos de IA e orientar o projeto de dispositivos de última geração, de modo que cada gravação continue a gerar valor muito tempo depois do término do procedimento.
Disponibilidade e Preços
- Simulation Pro estará disponível em Acesso Antecipado a partir de terça-feira, 22 de setembro. Registre-se para o Acesso Antecipado do Unity Simulation Pro .
- O Simulation Pro é compatível com o Unity 6.3 e versões mais recentes e requer uma licença Unity Industry .
- O Simulation Pro é um pacote totalmente compatível que inclui o importador URDF do Unity, sensores prontos para uso, suporte ao ROS 2 e um ambiente de compilação Linux sem interface gráfica. Explore a documentação do pacote Unity Simulation Pro .
- Um programa de aprendizagem em robótica está disponível na Unity Academy para equipes iniciantes. Explore o percurso de aprendizagem de robótica na Unity Academy .
Estamos particularmente interessados em ouvir equipes que realizam validação de robôs, testes de sensores ou geração de dados sintéticos em larga escala nos setores de manufatura, logística, armazenagem e outros setores de robótica avançada.
Conecte-se com a equipe de desenvolvimento do Unity Simulation Pro no Unity Discussions . Estamos ansiosos para saber mais sobre o que vocês estão construindo.