KITECH: Building a factory digital twin and synthetic data pipeline for manufacturing AI

Trang web này đã được dịch bằng máy để thuận tiện cho bạn. Chúng tôi không thể đảm bảo tính chính xác hoặc độ tin cậy của nội dung được dịch. Nếu bạn có thắc mắc về tính chính xác của nội dung được dịch, vui lòng tham khảo phiên bản tiếng Anh chính thức của trang web.
Trong bài thuyết trình được ghi âm này, Tiến sĩ Hong-In Won, Trưởng bộ phận Hợp tác AI Sản xuất tại Viện Công nghệ Công nghiệp Hàn Quốc (KITECH) và Woojin Park, Quản lý Tài khoản Kỹ thuật tại Unity Korea, đã trình bày một dự án 14 tuần gồm hai phần: tạo ra một bản sao kỹ thuật số của xưởng đúc, và hợp tác với Phòng thí nghiệm Kỹ thuật Hàn Quốc (KTL) để xây dựng đường ống dữ liệu hợp tác người-robot.
Khám phá cách đội ngũ xây dựng bản sao kỹ thuật số từ dữ liệu đám mây điểm mà không cần CAD bằng Unity Industry, cách họ sử dụng Unity AI để tăng tốc tối ưu hóa và công việc giao diện người dùng, và cách họ biến bản sao này thành một quy trình dữ liệu tổng hợp để huấn luyện AI về sự hợp tác giữa người và robot.
Những gì bạn sẽ học
- Cách đội ngũ xây dựng bản sao kỹ thuật số của nhà máy đúc kim loại từ dữ liệu đám mây, mà không có tệp nguồn CAD
- Unity AI, Asset Manager, Asset Transformer, và Version Control phù hợp với quy trình sản xuất như thế nào
- Làm thế nào để neo một bản sao kỹ thuật số với các phép đo trong thế giới thực, và hiệu chỉnh những khoảng trống còn lại
- Cách tạo dữ liệu huấn luyện có nhãn tự động thay vì chú thích các khung hình bằng tay
“Trong kỷ nguyên các nhà máy AI sắp tới, nơi robot và người máy có thể cùng tồn tại, chúng tôi tin rằng một đường ống (pipeline) có thể đóng vai trò là lớp mô phỏng và dữ liệu.”
Dr. Hong-In Won - Korea Institute of Industrial Technology
Chief of Manufacturing AI Cooperation
Bài thuyết trình này được ghi lại tại hội nghị Unite Seoul vào tháng 7 năm 2026.
Bản ghi video
Người nói
- Park Woojin, Quản lý Tài khoản Kỹ thuật, Unity Hàn Quốc
- Tiến sĩ Hong-In Won, Trưởng bộ phận Hợp tác AI Sản xuất, Trung tâm Nghiên cứu AI Sản xuất, Viện Công nghệ Công nghiệp Hàn Quốc (KITECH)
- Jaehoon Hwang, Nghiên cứu viên, KITECH
Thời gian chạy: 41 phút
Giới thiệu về bản ghi này: Bản ghi này đã được chỉnh sửa để đọc.
Giới thiệu: một khung cảnh nhà máy khung xương đã trở thành một bản sao kỹ thuật số sống động
[00:00] Woojin Park: Hôm nay, tôi sẽ nói về một quy trình dữ liệu tổng hợp dựa trên bản sao kỹ thuật số Unity cho AI sản xuất. Tôi là Park Woojin, Quản lý Tài khoản Kỹ thuật tại Unity Hàn Quốc. Tại Unity, tôi chịu trách nhiệm hỗ trợ kỹ thuật cho các khách hàng công nghiệp. Trong dự án này, tôi sẽ trình bày những gì chúng tôi đã làm trong 14 tuần với KITECH để hỗ trợ xây dựng bản sao kỹ thuật số của nhà máy.
Nếu tôi tóm tắt bài thuyết trình hôm nay trong một câu, nó sẽ là thế này. Đó là hành trình của một cảnh nhà máy khung xương đã trở thành một bản sao kỹ thuật số sống động.
[00:51] Tôi sẽ nói về hành trình mà Viện Công nghệ Công nghiệp Hàn Quốc và Unity đã thực hiện bằng cách sử dụng Unity AI. Tôi sẽ giới thiệu Unity AI và các sản phẩm liên quan trước. Sau đó tôi sẽ chuyển sang dự án, KITECH VPH-Metal.
Trước khi chúng ta bắt đầu, hãy để tôi cho bạn xem video kết quả cuối cùng. Khu vực bạn đang thấy bây giờ là nơi máy đúc làm khuôn cát. Tại đây, các sản phẩm đúc đã được loại bỏ các phần gờ, đi qua khu vực tách gờ và chuyển sang khu vực mài và xử lý hậu kỳ cuối cùng. Khi bài thuyết trình này kết thúc, tôi nghĩ bạn sẽ hiểu cách cảnh này được xây dựng trong Unity.
[01:38] Tôi đã tham dự khá nhiều buổi hội thảo và seminar về AI vật lý và các chủ đề liên quan. Thông thường trong các buổi đó bạn sẽ thấy ảnh, hình ảnh hoặc video về các nhà máy như thế này, và bạn nghĩ, "Được rồi, tôi hiểu rằng bạn có thể xây dựng một bản sao kỹ thuật số với Unity hoặc một công cụ khác." Nhưng thực sự cần bao nhiêu người, cần bao nhiêu thời gian để lên kế hoạch, và những công cụ nào có thể tăng tốc nó? Thành thật mà nói, loại thông tin đó thường khó tìm. Vì vậy, hôm nay tôi sẽ nói về các sản phẩm chúng tôi đã sử dụng và cách chúng tôi xây dựng nó, cũng như cách chúng tôi có thể tăng tốc quy trình bằng AI.
Unity AI bao gồm: Tác nhân, Máy chủ MCP và Máy phát
[02:23] Unity AI bao gồm những thành phần sau. Đầu tiên là Unity Agent. Sau đó có Máy chủ MCP, và cả các Máy phát điện. Hiện tại, chỉ cần ghi nhớ những thuật ngữ chính này là đủ.
Unity Agent cho phép bạn sử dụng AI dựa trên Claude, ví dụ, hoặc Gemini, trực tiếp bên trong Editor. Đối với Máy chủ MCP, rất nhiều môi trường ở Hàn Quốc chạy trên các mạng đóng. Vì vậy, nếu công ty của bạn có một tác nhân như Claude hoặc Codex được thiết lập nội bộ, bạn có thể kết nối nó thông qua giao thức và sử dụng nó với Unity.
Vậy sự khác biệt lớn nhất giữa Unity Agent và MCP Server là gì? Tác nhân Unity chạy các kỹ năng chúng tôi tự xây dựng, khoảng 70 đến 80 kỹ năng, ở phía back end. Vì vậy nó có thể đẩy nhanh sự phát triển Unity hơn nữa.
[03:12] Điều mà Unity cuối cùng hướng tới là các ứng dụng thời gian thực 3D. Khi bạn nghĩ về một ứng dụng thời gian thực 3D, bạn cần hoạt ảnh, bạn cần âm thanh, bạn cần các đối tượng và bạn cần rất nhiều kết cấu và hình ảnh. Vậy nó không chỉ là viết mã. Nếu bạn sử dụng Unity Agent hoặc MCP Server, bạn cũng có thể sử dụng các tài nguyên AI mà các Generator tạo ra cho từng loại tài nguyên.
Các công cụ của Unity Industry: Asset Manager, Version Control và Asset Transformer
[03:45] Ngoài ra, Unity Industry bao gồm Asset Manager, một công cụ để quản lý tài sản, Version Control, một công cụ để quản lý phiên bản và Asset Transformer, giúp các tài sản hoặc mô hình CAD của bạn sẵn sàng để sử dụng trực tiếp trong mô phỏng. Đó là ba công cụ.
Bắt đầu không dùng CAD: từ đám mây điểm đến lưới
[04:15] Sau khi xem phiên bản hoàn chỉnh của dự án hôm nay sớm hơn, nhiều người trong số các bạn có lẽ đang tự hỏi nó bắt đầu từ đâu. Trong các dự án như thế này, những người có dữ liệu CAD thường đưa dữ liệu CAD đó vào Unity và tiếp tục dự án. Nhưng chúng tôi không có bản CAD để làm việc, vì vậy chúng tôi bắt đầu từ dữ liệu đám mây điểm.
Sau đó chúng tôi chuyển đám mây điểm đó thành các lưới low-poly đơn giản hóa, và sau đó, sử dụng Asset Transformer, Asset Manager, Unity Version Control, Unity AI và một số công cụ và gói khác, chúng tôi đã thực hiện dự án trong hơn 14 tuần. Những gì bạn đang thấy bây giờ là đám mây điểm được trực quan hóa trong Unity từ cùng một góc độ.
[05:04] Ở bên trái bạn có các tài sản, và sau đó là các công cụ khác nhau, chẳng hạn như Asset Transformer, Asset Manager, tự động hóa, Editor và AI. Tôi sẽ giải thích nơi mỗi công cụ này đã được sử dụng. Phần bạn có lẽ quan tâm nhất là phần đào tạo ở ngoài cùng bên phải, hoặc phần mô phỏng và bản sao kỹ thuật số. Cuối cùng, tôi sẽ giải thích cách đám mây điểm được kết nối với Asset Manager của Unity và với các đầu ra như bản sao kỹ thuật số.
Asset Transformer: tối ưu hóa tài sản và làm cho chúng sẵn sàng cho mô phỏng
[05:42] Chúng ta hãy bắt đầu với Asset Transformer và Unity AI. Quần áo bên trái đang thay đổi một chút. Ở góc dưới bên phải, bạn có thể thấy cùng một trang phục được kết xuất ở 11.000 đa giác và ở 1,1 triệu, và cách các hình dạng đa giác khác nhau trong mỗi trường hợp.
Asset Transformer là một công cụ cho phép bạn dễ dàng tối ưu hóa và làm nhẹ một tệp CAD hoặc tệp đối tượng khi bạn có nó. Với trang phục ở bên trái, gần như không có sự khác biệt nào có thể nhìn thấy bằng mắt thường. Vì vậy, Asset Transformer làm cho mô hình nhẹ nhất có thể để máy tính kết xuất, đồng thời giữ sự khác biệt có thể nhìn thấy ở mức tối thiểu.
[06:38] Nếu bạn nhìn vào các khối lập phương quay ở dưới, ngay cả khi các khối lập phương có cùng mã quay, khối màu trắng quay sang phải quanh tâm của nó, trong khi khối màu vàng trông như đang quay quanh một điểm khác. Trong mô hình CAD, điều này tương ứng với khái niệm gốc tọa độ. Tùy thuộc vào việc nguồn gốc đó được đặt là tâm khối lượng, tâm hộp giới hạn, hay chỉ là một giá trị ngẫu nhiên, ngay cả khi bạn viết mã đúng cách, kết quả vẫn có thể hoàn toàn khác nhau. Vì vậy, những bộ phận này đã phải được sửa chữa và cải thiện, và chúng tôi gọi quá trình này là "sẵn sàng mô phỏng."
[07:26] Tại Unity, chúng tôi đã sử dụng Asset Transformer và hợp tác với KITECH về cách thực hiện tối ưu hóa. Không phải mọi nhiệm vụ đều hoàn hảo. Trong trường hợp của cái thang, ví dụ, khi di chuyển điểm tựa, đã có vấn đề là nó bị nén thành một đường thẳng. Trong trường hợp này, chúng tôi đã sử dụng Unity AI để phân tích nguyên nhân hình học thực tế, và sau đó tạo ra một bộ kỹ năng có thể áp dụng trên toàn bộ dự án. Vì vậy, chúng tôi đã viết các chú thích kỹ năng và áp dụng chúng cho toàn bộ cảnh nhà máy tại KITECH, biến các vật thể tĩnh như thế này thành các vật thể có thể di chuyển, sau đó tiến hành vòng tối ưu hóa đầu tiên.
Quản lý phiên bản trong Asset Manager: 627 tệp nguồn giảm xuống còn 218
[08:25] Khi chúng tôi thực hiện dự án, điều đầu tiên chúng tôi cho bạn xem là dữ liệu đám mây điểm, sau đó là dữ liệu low-poly được tạo ra bằng cách chuyển nó thành lưới, và dữ liệu sẵn sàng cho mô phỏng mà chúng tôi vừa cho xem, dữ liệu này đã được tối ưu hóa và làm nhẹ. Vậy có ba phiên bản dữ liệu này. Nhưng nói thật, có lẽ còn nhiều phiên bản hơn thế. Để tránh bị nhầm lẫn bởi tất cả các phiên bản này, và để lấy dữ liệu chúng ta cần vào đúng thời điểm, Version Control là điều cần thiết.
[08:45] Vì vậy, công cụ chúng tôi sử dụng là Asset Manager. Với các tệp CAD, thông thường không hỗ trợ xem trước. CAD có nhiều ưu điểm, nhưng các đối tượng 3D nặng để kết xuất, và nếu không có bản xem trước, sẽ khó biết tài nguyên nào là cái bạn cần.
[09:03] Asset Manager cung cấp bản xem trước cho mọi đối tượng. Bạn có thể tải chúng trực tiếp trong Trình chỉnh sửa, hoặc tải chúng lên và sử dụng ngay. Nó cũng bao gồm các tính năng để chuyển đổi sang các định dạng khác, hoặc tự động tối ưu hóa chúng.
Thay vì chỉ tải lên từng tệp mô hình một, chúng tôi đã xác định một bộ quy tắc và tạo dữ liệu AAS dựa trên ontology, sau đó tải nó lên Asset Manager. Chúng tôi đã tải lên nhiều định dạng khác nhau, không chỉ FBX đa dụng mà còn cả USD, và các định dạng khác khi cần thiết. Ban đầu chúng tôi có tổng cộng 627 tệp nguồn, và sau khi áp dụng một tiêu chuẩn duy nhất, chúng tôi đã giảm xuống còn 218 tệp và tải chúng lên.
Unity Version Control trên URP, HDRP và USD
[10:07] Phần tiếp theo chúng tôi làm là Version Control. Đối với nhiều người trong số các bạn, Version Control có lẽ gợi đến Git. Nhưng với Git, về cơ bản rất khó để quản lý hình ảnh hoặc các tệp lớn.
Trong trường hợp của chúng tôi, chúng tôi đã chạy đám mây điểm này trong pipeline kết xuất URP của Unity, và chúng tôi cũng đã chạy nó trong HDRP có độ trung thực cao hơn. Vì vậy, để duy trì cả hai phiên bản và thêm tính năng, chúng tôi đã sử dụng Unity Version Control. Trong khoảng thời gian 14 tuần, chúng tôi đã tách các nhánh cho URP, HDRP và USD, giữ Editor dưới quản lý cấu hình tích hợp, và xử lý 77 phiên bản dựa trên các thay đổi.
Xây dựng bảng điều khiển thời gian chạy với Unity AI
[11:18] Bây giờ tài sản đã sẵn sàng và Version Control đã được thiết lập, đã đến lúc chuyển sang phát triển thực tế.
Khi mọi người lần đầu nói họ muốn một bản sao kỹ thuật số, điều đầu tiên họ yêu cầu là một bảng điều khiển. Trong quá khứ, việc xây dựng bảng điều khiển này có nghĩa là phải mời các nhà thiết kế UI và UX, và xây dựng từng tính năng một cách gọn gàng dưới dạng một lớp, v.v. Đó là những gì nó từng cần.
[11:32] Nhưng bây giờ, nếu bạn tạo một hình ảnh về dữ liệu bạn muốn hiển thị trong nhà máy này, hoặc tạo một hình ảnh khái niệm, các kỹ năng bên trong Unity AI chạy ở hậu trường, và nó biến điều đó thành một bảng điều khiển giao diện người dùng tương tác.
Thông thường, trong thực địa, có nhiều trường hợp dữ liệu PLC không thể kết nối trực tiếp. Trong trường hợp của chúng tôi cũng vậy, có các vấn đề liên quan đến tường lửa và bảo mật, vì vậy chúng tôi đã làm việc với các nhà nghiên cứu và tạo ra một bộ dữ liệu PLC giả, sau đó kết nối nó với bảng điều khiển bên trong Unity. Chúng tôi đã cùng nhau thực hiện toàn bộ quá trình đó.
Các công cụ chỉnh sửa tùy chỉnh cho kịch bản nam châm
[12:21] Điều chúng tôi làm tiếp theo không chỉ là một mô phỏng thuyết phục về mặt hình ảnh, mà còn là một dự án thực sự dựa trên sự thật. Sau khi tạo bảng điều khiển tại thời điểm chạy, chúng tôi cũng cần tạo một bảng điều khiển hoặc một trình chỉnh sửa tùy chỉnh bên trong Trình chỉnh sửa.
Trong nhà máy này, kịch bản đầu tiên liên quan đến một nam châm di chuyển và sử dụng lực từ để nhặt các vật thể. Để mô phỏng lượng lực từ cần thiết để các mảnh kim loại được nhấc lên hay không, thay vì mã hóa cứng từng giá trị, chúng tôi đã hiển thị chúng trực tiếp trong Trình chỉnh sửa. Vì vậy, những thứ như trạng thái của từng xe đẩy và trạng thái của nam châm, và thậm chí cả cách mô phỏng vật lý hoạt động, đều được phát triển bằng Unity AI.
Tạo hiệu ứng lò từ hình ảnh ý tưởng
[13:21] Điều tiếp theo tôi sẽ nói đến là hiệu ứng lò nung. Một số bạn có thể đang nghĩ rằng mình cần hiệu ứng hình ảnh.
Một trong những tính năng mạnh mẽ nhất của Unity AI và MCP là chúng có thể chụp ảnh Chế độ Xem Cảnh (Scene View) hoặc Chế độ Xem Trò Chơi (Game View). Khi bạn làm việc trong một dự án, giống như điện thoại áp dụng chỉnh sửa màu, màu sắc có thể trông khác nhau bên trong Unity Editor hoặc Game View. Để tạo ra tác động bạn muốn trong những màu đó, bạn cần những thứ như sự kết hợp màu sắc. Trong quá khứ, đó là lĩnh vực mà các nghệ sĩ phải xử lý.
[14:01] Nhưng bây giờ bạn có thể nói với AI, "Tạo bốn quả cầu trong cảnh, áp dụng hiệu ứng lò nung cho chúng và tiếp tục cập nhật cho đến khi nó trông giống nhất với khái niệm hoặc hình ảnh khái niệm tôi đưa cho bạn." Unity AI sau đó tìm và tạo hiệu ứng phù hợp nhất, và thậm chí áp dụng nó vào cảnh thực tế chỉ trong một lần.
Chuyển đổi từ URP sang HDRP
[14:24] Sau đó, một khi chúng tôi đã tạo phiên bản URP, chúng tôi đã chuyển nó sang HDRP. Trong quá trình chuyển đổi từ URP sang HDRP, tôi bận việc khác và đã cung cấp cho AI các cài đặt đồ họa, khái niệm và các chi tiết khác mà tôi đã chuẩn bị. Các cảnh quay bạn thấy ở đây là kết quả của việc AI cải thiện chúng từng bước theo thời gian để khớp với hình ảnh khái niệm đó.
[14:51] Ban đầu nó là màn hình đen hoặc màn hình quá sáng. Sau đó nó trở lại trạng thái ban đầu, sáng hơn một chút, và tự thực hiện các bước này, vì vậy cảnh nhà máy tiếp tục được cập nhật. Nó dần dần được cải thiện, và cuối cùng, tôi có thể nói nó đã trở thành cảnh HDRP trau chuốt mà tôi hình dung.
Xuất USD tại thời điểm chạy
[15:18] Điều cuối cùng tôi muốn đề cập là chúng tôi không dừng lại ở URP và HDRP. Tôi cũng xử lý các dự án bản sao kỹ thuật số cho các doanh nghiệp lớn khác, và điều họ thường nói là, "Các nhóm khác hoặc các phòng ban khác trong công ty chúng tôi muốn sử dụng dữ liệu được tổ chức tốt, sẵn sàng mô phỏng này trong các công cụ hoặc trên các nền tảng khác."
[15:44] Vì vậy, những gì chúng tôi đã làm là cho phép xuất USD tại thời điểm chạy. Xuất thời gian chạy có nghĩa là trong khi chạy mô phỏng, bạn có thể thay đổi bố cục ở một mức độ nào đó, lưu nó và xuất trạng thái chính xác đó ở định dạng USD. Bằng cách đó, trên một nền tảng khác, các kết cấu, hình học và mọi thứ khác có thể được bảo toàn nguyên trạng và sử dụng ngay lập tức.
Cho cặp song sinh vào các mô hình thế giới
[16:18] Một khi bạn có một bản sao kỹ thuật số như thế này, nó không chỉ là việc kết nối mọi thứ và xem một bảng điều khiển. Tôi cũng muốn nói về chủ đề nóng nhất hôm nay: các mô hình thế giới.
Với các mô hình thế giới như FLUX, Qwen hoặc NVIDIA Cosmos 3, bạn có thể lấy màn hình từ bản sao kỹ thuật số bạn đã xây dựng trong Unity, nhập màn hình hoặc hình ảnh đó, và từ đó hiển thị các thứ như sự lão hóa của nhà máy, hơi nước thoát ra, các kịch bản từ mô phỏng sang thực tế, hoặc thậm chí là sự thay đổi trong thời gian trong ngày. Chúng tôi đã có thể thu thập được nhiều bộ dữ liệu khác nhau cho các lĩnh vực này.
Kết quả dự án bằng số
[16:55] Để đưa kết quả của chúng tôi thành số liệu: dự án đã chạy trong 14 tuần kể từ khi khởi động. Chúng tôi đã tổ chức 627 tài sản xuống còn 218. Chúng tôi đã có 77 lần check-in mã nguồn, và đi từ đám mây điểm cho đến HDRP. Trong số 39 bộ dữ liệu chúng tôi có, chúng tôi đã trực quan hóa 20 bộ. Sau đó, chúng tôi thực hiện tăng cường dữ liệu dựa trên hơn 10 mô hình thế giới dựa trên vật lý.
So sánh song song và khoảng cách lĩnh vực sản xuất
[17:27] Chúng tôi đã làm một video so sánh cuối cùng. Ở đây bạn có thể thấy đám mây điểm trước, sau đó là URP ở giữa, và sau đó là HDRP. Sau đó chúng tôi chạy khuếch tán, mô phỏng mô hình thế giới và tăng cường dữ liệu.
Có một điều tôi muốn chỉ ra trong quá trình này. Các mô hình được huấn luyện trên dữ liệu chung có ít sự hiểu biết về dữ liệu miền sản xuất. Vì vậy, chúng tôi đã dành nhiều thời gian để nghiên cứu cách thu hẹp khoảng cách về dữ liệu trong lĩnh vực sản xuất. Phần này sẽ được Tiến sĩ giải thích tiếp theo. Hong-In Won.
Tôi muốn cảm ơn Tiến sĩ. Hong-In Won, Nghiên cứu viên Youngseok Han, Nghiên cứu viên Jaehoon Hwang và nhiều người khác đã làm việc với chúng tôi trong dự án này.
KITECH: biến bản sao kỹ thuật số thành môi trường để AI học tập
[18:47] Tiến sĩ Hong-In Won: Tôi là Hong-In Won từ Viện Công nghệ Công nghiệp Hàn Quốc.
Trước đây, Quản lý Woojin Park đã giải thích cách xây dựng và mở rộng bản sao kỹ thuật số nhà máy trong Unity, đặc biệt là cho một nhà máy đúc. Bước tiếp theo, tôi sẽ nói về cách biến bản sao kỹ thuật số đó thành một môi trường nơi AI có thể học và được thử nghiệm.
Tiêu đề bài thuyết trình hôm nay là quy trình dữ liệu tổng hợp dựa trên bản sao kỹ thuật số Unity cho AI sản xuất. Vì tiêu đề đề cập đến một quy trình dữ liệu tổng hợp, bạn có thể đang nghĩ, "Vậy chính xác thì họ tổng hợp dữ liệu như thế nào?" Nhưng trước đó, câu hỏi quan trọng nhất là, "Bản sao kỹ thuật số đã thực sự được xây dựng để khớp với hệ thống thực tế chưa?" Tôi muốn tập trung nhiều hơn vào cách chúng ta xác minh chính xác điều đó. Chúng tôi gọi quá trình xây dựng mô hình bản sao kỹ thuật số phù hợp với thực tế là "neo đậu" (grounding), và tôi sẽ giải thích nó từ góc độ đó.
Đội ngũ và định hướng nghiên cứu
[19:49] Tôi là Hong-In Won, và tôi dẫn dắt Nhóm Hợp tác AI Sản xuất tại Trung tâm Nghiên cứu AI Sản xuất của KITECH. Các lĩnh vực chuyên môn của tôi là AI sản xuất, Digital Twins và cơ sở hạ tầng dữ liệu công nghiệp. Đặc biệt, lĩnh vực quan tâm của tôi về Digital Twins là ảo hóa, hay cách chuyển các vấn đề trong thế giới thực vào môi trường ảo; tạo sinh, cách tạo dữ liệu cần thiết trong môi trường đó; và xác thực, cách đưa kết quả trở lại để xác minh trong thế giới thực.
[20:18] Các nhà nghiên cứu chính tham gia dự án này là Nhà nghiên cứu Jaehoon Hwang và Nhà nghiên cứu Seungyeop Ha từ trung tâm của chúng tôi. Nghiên cứu viên Jaehoon Hwang chịu trách nhiệm đo lường và hiệu chỉnh những khác biệt còn lại sau khi di chuyển các cảm biến từ môi trường thực tế vào môi trường song sinh, trong khi Nghiên cứu viên Seungyeop Ha phụ trách mô phỏng người-robot và chuyển động, cũng như mở rộng dữ liệu trên nhiều điều kiện khác nhau.
[20:48] Hướng nghiên cứu của chúng tôi về các Digital Twins sản xuất quy về một dòng: Digital Twins cho AI, AI cho Digital Twins. Điều đó có nghĩa là tạo ra các môi trường nơi AI có thể học và được kiểm tra, và sử dụng AI để tái tạo và cập nhật các Digital Twins. Chúng tôi cũng đang nghiên cứu các Digital Twins nâng cao dựa trên hệ thống đa tác tử và LLM.
[21:09] Đây là một video ngắn về các mô hình mà trung tâm chúng tôi đã xây dựng. Video giới thiệu các mô hình chuyển đổi dây chuyền lắp ráp xe điện, logistics đô thị, nhà máy đúc và nhiều hơn nữa thành các bản sao số (digital twins) và kết nối chúng thành một chuỗi cung ứng duy nhất. Chúng tôi sử dụng trình giả lập Unity rất nhiều, nhưng ở phía back-end, chúng tôi cũng mô hình hóa các kịch bản bằng các mô phỏng nhẹ hơn, và các đầu ra từ đó sau đó được đưa vào quy trình tích hợp Unity. Đó là một hướng nghiên cứu chính của chúng tôi.
[21:48] Video cũng giới thiệu các công nghệ mô phỏng và xác thực được phát triển tại đó, bao gồm hợp nhất cảm biến và các nghiên cứu trong đó các tác nhân dựa trên LLM lập kế hoạch đường đi cho robot. Nó cũng bao gồm một ví dụ về lập kế hoạch đường đi robot bằng các tính năng Unity MCP.
Hợp tác người-robot và lý do dữ liệu HRC khan hiếm
[22:09] Chủ đề hôm nay là xây dựng các môi trường nơi AI có thể học và được kiểm tra. Kịch bản được trình bày trong bài thuyết trình này là một cơ sở sản xuất nơi con người và robot hợp tác. Môi trường mà con người và robot làm việc cùng nhau trong cùng một không gian được gọi là cộng tác người-robot, hay HRC.
[22:25] Về luồng của bài thuyết trình, tôi sẽ nói trước về lý do tại sao dữ liệu HRC loại này lại khan hiếm trong thế giới thực, và tại sao chúng ta vẫn cần xây dựng nó hoàn toàn vào mô hình bản sao kỹ thuật số. Sau đó tôi sẽ giới thiệu phương pháp chúng tôi đã áp dụng để khắc phục điều này, cũng như các phương pháp tổng hợp dữ liệu mà chúng tôi đã phát triển. Và khi xây dựng mô hình bản sao kỹ thuật số, nhiều phần không hoàn toàn khớp với thế giới thực. Nói cách khác, một khoảng cách thực tế-mô phỏng xảy ra, và tôi cũng sẽ giải thích cách chúng tôi hiệu chỉnh và giải quyết khoảng cách đó.
[23:02] Chúng ta hãy bắt đầu với vấn đề dữ liệu. Như tất cả các bạn đều biết, AI học từ dữ liệu. Nhưng một số trường có nhiều dữ liệu sẵn có, và những trường khác thì không. Ví dụ, trong lái xe tự hành, chúng ta có thể dễ dàng thu thập hàng triệu km dữ liệu lái xe, và đối với dữ liệu Vision chung, chúng ta có thể lấy hình ảnh và video từ web hoặc từ cuộc sống hàng ngày. Các mô hình ngôn ngữ cũng có thể sử dụng dữ liệu từ toàn bộ internet để huấn luyện.
Nhưng đối với các địa điểm sản xuất, đặc biệt là khi con người và robot làm việc cùng nhau, chúng ta cần dữ liệu nơi công nhân tiếp cận gần robot, các bộ phận cơ thể bị che khuất, hoặc người di chuyển vào và ra khỏi vùng an toàn. Loại dữ liệu đó cực kỳ khó tìm thấy trong các bộ dữ liệu công khai.
Bốn lý do gây ra tình trạng khan hiếm dữ liệu
[23:54] Chúng tôi đã xác định bốn lý do cho sự khan hiếm dữ liệu này tại các cơ sở sản xuất.
Đầu tiên là sự an toàn. Khoảnh khắc một người bước vào khu vực nguy hiểm của robot không phải là điều bạn có thể dàn dựng đi dàn dựng lại chỉ để thu thập dữ liệu.
Thứ hai là chi phí. Thiết lập một đường thực tế, lắp đặt cảm biến và quay phim trong khi thay đổi điều kiện tốn rất nhiều thời gian và tiền bạc.
Thứ ba là phần chúng tôi gặp nhiều khó khăn nhất: gán nhãn. Để huấn luyện AI, cần có các chú thích và nhãn để tạo ra sự thật cơ bản. Nhưng việc căn chỉnh các vị trí 3D của con người và robot, khoảng cách, thông tin khớp, nền, vật thể và các vùng cấp độ pixel trên nhiều cảm biến tại cùng một thời điểm là một công việc thủ công thuần túy.
[24:36] Cuối cùng là độ hiếm. Độ hiếm của kịch bản, chính xác là. Việc thu thập dữ liệu về các va chạm giữa người và robot trong các khu vực sản xuất là cực kỳ khó khăn. Các tình huống ngay trước khi va chạm được gọi là các sự kiện đuôi dài. Những tình huống đó hầu như không bao giờ xảy ra trong thực tế, và chúng cực kỳ khó để chúng ta tạo ra nhân tạo. Và tại một trang web được quản lý tốt, dữ liệu như vậy lẽ ra phải xảy ra ít thường xuyên hơn, chứ không phải nhiều hơn.
Dữ liệu gần gũi: những gì chúng ta thực sự cần để huấn luyện
[25:16] Điều chúng tôi muốn huấn luyện không chỉ là liệu một người có mặt hay không, mà là người đó cách robot bao xa, theo hướng nào, và họ đang tiếp cận với tư thế gì. Loại thông tin này chúng tôi gọi là dữ liệu gần gũi. Chúng ta cần hiểu mối quan hệ này để con người và robot có thể hợp tác và đánh giá các khu vực an toàn, và trong trường hợp của robot, để theo dõi khoảng cách gần của một người, hoặc để tạo ra các kịch bản mà họ có thể giảm tốc và dừng lại.
[25:43] Nói một cách đơn giản, tình hình là như thế này. Có quá ít dữ liệu. Vậy nếu chúng ta không thể thu thập nó, hãy tạo ra nó. Đó là điều chúng tôi đã đặt ra để làm. Nhưng để tạo dữ liệu, mô hình thực hiện việc tạo cần có dữ liệu vững chắc của riêng nó. Vì vậy, đầu tiên, chúng tôi lấy các giá trị được đo trong thế giới thực làm tài liệu tham khảo và xây dựng một quy trình dữ liệu tổng hợp bản sao kỹ thuật số Unity.
Tại sao chúng tôi chọn Unity: bốn công nghệ trong một runtime
[26:09] Chúng tôi cảm thấy việc kết nối bốn công nghệ trong một môi trường chạy tương đối dễ dàng, vì vậy chúng tôi đã sử dụng Unity.
Đầu tiên là mô phỏng vật lý, nơi robot, người và vật thể tương tác theo cách hợp lệ về mặt vật lý. Thứ hai là kết xuất HDRP, vốn khớp ánh sáng, vật liệu và các yếu tố khác với thực tế để giảm khoảng cách miền. Thứ ba là mô phỏng cảm biến, tái tạo nhiều loại cảm biến ảo. Thứ tư là các công nghệ ứng dụng tạo ra dữ liệu từ bản sao số để việc chú thích và gán nhãn có thể được thực hiện mà không cần con người đánh dấu mọi thứ thủ công.
[26:48] Nếu bốn cái này không tách biệt, chúng ta đã không thể tạo ra dữ liệu để huấn luyện AI. Bằng cách tích hợp chúng vào cùng một môi trường thực thi và cùng một trục thời gian, chúng tôi đã có thể tạo ra dữ liệu chúng tôi cần.
Bộ dữ liệu HRC-Bench Công nghiệp
[27:03] Quá trình thu thập dữ liệu huấn luyện đó phải tuân theo một phương pháp luận chuyên nghiệp, đáng tin cậy để xây dựng các bộ dữ liệu. Để làm điều này, chúng tôi đã mời các chuyên gia từ lĩnh vực sản xuất và cùng nhau thiết kế các kịch bản hợp tác người-robot thực tế. Chúng tôi đã tạo ra môi trường thử nghiệm có thẩm quyền tại Trung tâm Thử nghiệm và Chứng nhận Robot của Phòng thí nghiệm Kiểm định Hàn Quốc.
[27:33] Kết quả của các thí nghiệm này, chúng tôi đã xây dựng bộ dữ liệu Industrial HRC-Bench. Các kịch bản HRC được thu thập cho đến nay, ở mức sẵn sàng để phát hành công khai, bao gồm hai loại: xếp pallet và kiểm tra các bộ phận sản xuất. Bộ dữ liệu bao gồm tổng cộng 17 tập. Trong số này, chín thí nghiệm được thực hiện với sự hợp tác giữa con người và robot, và tám thí nghiệm còn lại với robot một mình.
[28:02] Hệ thống cảm biến được sử dụng ở đây tích hợp camera RGB, LiDAR, video 360 độ và hệ thống ghi lại chuyển động. Các phương thức cảm biến này đều được đồng bộ hóa ở tần số 20 Hz, mang lại cho chúng tôi hơn 100.000 khung hình thô dữ liệu. Khi tính bằng thời gian thuần túy, điều này tương đương với hơn 80 phút.
Điều quan trọng đối với chúng tôi ở đây không chỉ là quy mô của dữ liệu mà còn là cấu trúc của nó. Tất cả dữ liệu này đều chia sẻ cùng một trục thời gian cho các quan sát và nhãn, điều này đã giúp việc so sánh chính xác và tạo ra dữ liệu có ý nghĩa trở nên khả thi. Chúng tôi dự định sớm phát hành bộ dữ liệu Industrial HRC-Bench thông qua Hugging Face hoặc một kho lưu trữ bên ngoài.
Đường ống trong ba từ: tiếp đất, hiệu chuẩn, tạo
[28:53] Tôi nghĩ luồng tổng thể có thể được tóm tắt trong ba từ: nền tảng, hiệu chỉnh, tạo ra.
Điều đầu tiên không chỉ đơn thuần là tạo ra một bản sao, mà là neo các giá trị được đo lường trong thế giới thực vào nó. Đó là sự tiếp đất, điều này giúp đồng bộ hóa sinh đôi với thực tại. Sau đó là hiệu chuẩn, giúp giảm khoảng cách thực tế so với mô phỏng. Và từ đó, giai đoạn tạo dữ liệu.
Nền tảng: môi trường, cảm biến, robot và nhãn
[29:35] Jaehoon Hwang: Tôi là Jaehoon Hwang, và tôi phụ trách việc triển khai từ thực tế sang mô phỏng. Trong giai đoạn tiếp đất, chúng tôi đã mang bốn thứ từ thực tế: môi trường, cảm biến, robot và nhãn.
Môi trường
[29:49] Chúng tôi đã đo các kích thước không gian và bố trí thiết bị chính của bệ thử nghiệm KTL, và dựa trên các giá trị đó, đã khớp thiết bị và khu vực làm việc một-một bên trong Unity. Ngoài ra, chúng tôi đã áp dụng HDRP để khớp vật liệu và ánh sáng với môi trường thực tế. Đối với nền, sử dụng hình ảnh toàn cảnh 360 độ được chụp tại chỗ, chúng tôi đã xây dựng một cảnh phân mảnh Gaussian 3D siêu thực để giảm khoảng cách thực tế-mô phỏng.
Mục tiêu cuối cùng của chúng tôi là tạo một ô tham chiếu nơi cấu trúc và các vật cản mà camera nhìn thấy, cách các vật thể nằm tương đối với nhau, và cách ánh sáng và vật liệu ảnh hưởng đến những gì được quan sát có thể được so sánh song song với thế giới thực. Trong hình ảnh trên màn hình, bên trái là cảnh thực tế, và bên phải là bản sao kỹ thuật số từ cùng một góc nhìn.
Bộ cảm biến
[30:34] Đối với thí nghiệm, chúng tôi đã sử dụng camera RGB và độ sâu, LiDAR, camera 360 độ, ghi lại chuyển động và dữ liệu từ trạng thái của hai robot. Trong môi trường ảo chúng tôi đã xây dựng, chúng tôi đã không đơn giản hóa điều này thành một camera duy nhất. Sau khi kiểm tra vị trí lắp đặt của từng cảm biến trên hệ thống thực tế và những gì nó quan sát được, chúng tôi đã xây dựng các cảm biến ảo với cấu trúc tương tự.
[30:59] Bên trong runtime Unity, chúng tôi đã xây dựng các thành phần cảm biến tùy chỉnh để tất cả các quan sát chia sẻ cùng một đồng hồ mô phỏng. Chúng tôi cũng kết nối trạng thái của robot và chuyển động của con người để chúng được đồng bộ hóa cùng một lúc. Lý do sự đồng bộ hóa này quan trọng là vì sự gần gũi không thể được tóm tắt chỉ bằng một hình ảnh duy nhất. Cùng một lúc, video, độ sâu, các khớp robot và tư thế con người đều cần phải tồn tại cùng nhau để tính toán khoảng cách và nhãn vùng an toàn một cách nhất quán.
Robot
[31:27] Chúng tôi có một tiêu chuẩn. Nó phải là chuyển động hợp lệ về mặt vật lý, chứ không phải là chuyển động chỉ trông có vẻ hợp lý. Chúng tôi đã đưa vào các quỹ đạo chung được ghi lại trong môi trường thử nghiệm thực tế và cấu hình chúng để phát lại từng khung hình theo thứ tự thời gian ban đầu. Sử dụng Articulation Body của Unity, chúng tôi đã cấu hình các khớp và các khớp nối của robot, các bậc tự do và cấu trúc vật lý, sau đó chạy các trạng thái khớp đã ghi lại trên đó. Vì quán tính và tiếp xúc được tính toán cùng nhau, chúng tôi đã có thể xử lý sự tương tác giữa chuyển động của robot và các vật thể xung quanh trong một cấu trúc vật lý duy nhất.
Nhãn
[32:02] Từ cùng một trạng thái mô phỏng, bốn loại thông tin sự thật cơ bản được tạo ra cùng nhau: Các hộp giới hạn 2D và 3D với vị trí của người, robot và các bộ phận; phân đoạn ngữ nghĩa và phân đoạn thể hiện tách các đối tượng ở cấp độ pixel; tọa độ khớp được sử dụng để ước tính tư thế; và sự thật cơ bản về độ sâu được sử dụng làm tài liệu tham khảo cho khoảng cách gần. Màn hình hiển thị một cảnh với các hộp giới hạn 3D được áp dụng.
Những nhãn này không được tạo ra bởi ai đó đánh dấu từng khung hình bằng tay. Chúng đến trực tiếp từ trạng thái mô phỏng Unity. Điều đó vừa cắt giảm chi phí gán nhãn vừa giảm lỗi chú thích cùng một lúc.
Khoảng cách thực tế đến mô phỏng trong camera
[32:52] Tiếp theo, tôi sẽ giải thích khoảng cách thực tế-mô phỏng mà chúng tôi gặp phải khi xây dựng mô hình bản sao kỹ thuật số, và cách chúng tôi giải quyết nó. Đây là những khoảng trống còn lại, những khác biệt giữa thực tế và ảo mà vẫn còn tồn tại ngay cả sau khi chuyển đổi. Trong số đó, chúng tôi đã xác định hai yếu tố ảnh hưởng trực tiếp đến các giá trị gần và nguồn sự thật.
Cái đầu tiên xảy ra trong máy ảnh. Khi xây dựng môi trường ảo, chúng tôi đặt cùng một mô hình cảm biến và cùng một trường nhìn cho cả thiết lập thực và ảo. Nhưng cùng một đối tượng đã không xuất hiện trên cùng một các điểm ảnh.
[33:20] Nếu bạn nhìn vào lớp phủ cạnh ở bên phải, bạn có thể thấy các ranh giới của cùng một cấu trúc hơi lệch nhau tùy thuộc vào vị trí. Ngay cả khi áp dụng bảng dữ liệu ống kính thực tế vào môi trường Unity cũng không giải quyết được vấn đề. Đó là vì các thông số kỹ thuật sản phẩm và các mẫu ống kính tiêu chuẩn đơn thuần không thể giải thích được sự khác biệt do góc lắp đặt và từng ống kính gây ra.
Trong HRC, ngay cả một sự sai lệch nhỏ như thế này cũng quan trọng. Nếu ranh giới giữa con người và robot dịch chuyển chỉ vài pixel, sự tương ứng giữa các nhãn pixel được tạo ra trong mô phỏng và các quan sát thực tế cũng trở nên không ổn định. Vì vậy, chúng tôi quyết định đo trực tiếp phần dư của camera chính xác được lắp đặt trong thiết bị thử nghiệm này.
Đo độ méo ống kính thay vì mô hình hóa nó
[34:01] Phương pháp chúng tôi đã quyết định là đơn giản. Không mô hình hóa trực tiếp thấu kính. Đo nó.
Quá trình này bao gồm ba bước. Đầu tiên, sử dụng chế độ xem Gaussian 3D được tạo ra từ nhiều góc nhìn, chúng tôi đã thu được các cảnh tương ứng trong môi trường thực và ảo. Sau đó, chúng tôi tính toán sự khác biệt giữa các ảnh ghép đó ở cấp độ pixel và ghi lại chúng dưới dạng bản đồ biến dạng trên từng pixel. Cuối cùng, chúng tôi áp dụng bản đồ đó vào shader biến dạng camera của Unity để camera ảo được hiệu chỉnh trong quá trình kết xuất hình ảnh.
[34:35] Chìa khóa là vòng lặp này. Chúng tôi tạo các cảnh tương ứng, đo sự khác biệt còn lại và đưa giá trị đó trở lại thời gian chạy của Unity.
Đây là kết quả. Bên trái là quan sát từ cảm biến thực, ở giữa là bản sao kỹ thuật số đã được hiệu chỉnh, và bên phải là lớp phủ biên của hai hình ảnh. Hãy nhìn vào các đường biên ở bên phải và bạn có thể thấy sự cải thiện rõ rệt so với trước đây. Bằng cách áp dụng một bản đồ biến dạng cụ thể, chúng tôi đã xác nhận rằng sự căn chỉnh điểm ảnh giữa hình ảnh thực và hình ảnh ảo đã được cải thiện đúng cách.
[35:09] Đây không phải là xử lý hậu kỳ bên ngoài mà là một thành phần chạy khi camera ảo tạo ra hình ảnh, do đó các quan sát đã được hiệu chỉnh và sự thật cơ bản có thể được tạo ra trong cùng một môi trường thực thi.
Sửa lỗi chuyển động người không ổn định bằng IK
[35:16] Vấn đề thứ hai xuất hiện trong chuyển động của con người. Màn hình hiển thị chuyển động của con người được ghi lại bằng công nghệ ghi chuyển động, được phát lại với các điểm đánh dấu và bộ xương. Đây là một phần cơ thể bị che khuất bởi robot và bàn làm việc trong quá trình chụp. Hãy xem các khớp của bàn chân bắt đầu run như thế nào. Khi độ che khuất tăng lên, các ước tính về các khớp bị ẩn trở nên không ổn định, vì vậy bàn chân trượt trên sàn và các khớp di chuyển vào các vị trí vật lý không thể.
[35:47] Sự rung lắc này trực tiếp làm biến dạng khoảng cách giữa con người và robot, sự gần gũi của từng bộ phận cơ thể và các nhãn vùng an toàn. Vì vậy, chúng tôi cũng áp dụng các ràng buộc vật lý cho chuyển động của con người. Đó là phạm vi chuyển động của sàn và các khớp.
Đây là cảnh giống như trước. Lần này, chỉ có hai điều cần chú ý. Bàn chân có tiếp xúc với sàn nhà không, và các khớp có giữ được tự nhiên không?
[36:14] Đầu tiên, với IK bàn chân, chúng tôi gắn lại bàn chân vào hình học sàn thực tế đã đo. Sau đó, sử dụng IK Nhân hình, chúng tôi đã giới hạn các khớp bị che khuất di chuyển trong giới hạn khớp hợp lệ. IK tính toán lại vị trí của các khớp ở giữa, dựa trên vị trí mục tiêu cho bàn tay hoặc bàn chân. Bản sửa đổi này nhằm giảm chuyển động phi vật lý làm gián đoạn các nhãn về sự gần gũi và an toàn.
Phát lại kịch bản: xếp pallet và kiểm tra linh kiện
[36:40] Tiến sĩ Hong-In Won: Tôi muốn cảm ơn Nhà nghiên cứu Jaehoon Hwang vì đã trình bày các công nghệ chính để giảm khoảng cách thực tế-mô phỏng, từ xây dựng đường ống đến hiệu chỉnh cảm biến và IK. Tôi sẽ trình bày ngắn gọn cách mô hình kỹ thuật số chúng tôi xây dựng hoạt động, và sau đó kết thúc bài thuyết trình của chúng tôi.
[37:21] Hai kịch bản chúng tôi xây dựng dưới dạng mô hình kỹ thuật số dựa trên cùng một môi trường HRC, nhưng khác nhau về đặc điểm nhiệm vụ. Việc đầu tiên là xếp pallet, và việc thứ hai là kiểm tra bề mặt. Cả hai đều được thiết kế như các kịch bản có thể xảy ra một cách hợp lý tại một cơ sở sản xuất. Chúng tôi sẽ công bố các chi tiết cụ thể sau trong phần tóm tắt.
[37:44] Đây là trường hợp xếp pallet. Trong mô hình xếp pallet, những gì chúng tôi ghi lại từ robot thực tế trước đó thông qua Thân Khớp được tích hợp vào mô hình bản sao kỹ thuật số này. Như bạn vừa thấy, hai loại dữ liệu cảm biến, thông tin trạng thái robot, mặt nạ thể hiện và mặt nạ phân đoạn đều được đồng bộ hóa và phát lại cùng nhau.
[38:10] Thứ hai là một kịch bản để kiểm tra các bộ phận. Tình huống tiếp xúc gần giữa người lao động và robot cũng được mô hình hóa, và nó được đồng bộ hóa rất tốt với dữ liệu mô phỏng và robot, vì vậy chúng ta có thể phát lại dữ liệu trong đó cả bốn yếu tố đều được xác thực. Nếu bạn nhìn kỹ, ngay cả khi người đó chồng lấn lên một phần, bạn có thể thấy rằng việc phân đoạn hoạt động rất tốt.
[38:41] Giá trị của quy trình dữ liệu này không chỉ giới hạn ở việc xây dựng một tập dữ liệu một lần. Nó cũng có thể được mở rộng và nhân rộng trên nhiều địa điểm công nghiệp khác.
Ngẫu nhiên hóa miền với Gói Nhận thức Unity
[39:15] Những gì chúng tôi đã chỉ ra trước đó không phải là một tập dữ liệu một lần mà là một quy trình dữ liệu tạo sinh có thể mở rộng dữ liệu liên tục. Dựa trên Unity Perception Package, chúng tôi đã xây dựng một mô hình ngẫu nhiên hóa miền và xác định các phạm vi tham số và quy tắc lấy mẫu cho ánh sáng, vật liệu, camera, v.v., để tạo ra các biến thể thực tế xung quanh đường cơ sở được căn chỉnh chính xác này.
Tóm tắt hệ thống và kết thúc
[39:39] Tôi nghĩ chúng ta có thể tóm tắt mọi thứ bằng hình này. Đây là cấu trúc của hệ thống tổng thể. Bên trái là các đối tượng mục tiêu, chuyển động của con người, quỹ đạo của robot, v.v. Chúng là các phần tử đầu vào có thể được thay thế bất cứ lúc nào, và trung tâm là cốt lõi.
[39:53] Một mô hình cơ sở thiết lập đường cơ sở bằng các phép đo từ địa điểm thực tế, một mô hình hiệu chỉnh sửa lỗi theo nhiệm vụ, và ở bên phải, một mô hình tự động trích xuất dữ liệu sự thật đa phương thức, mô hình tạo sinh. Đó là ba cái chúng tôi đã xây dựng.
Chúng tôi đã chỉ ra cách chúng tôi tạo một bản sao dựa trên môi trường thử nghiệm thực tế và hiệu chỉnh các khác biệt nhiệm vụ chính, cho đến khi tạo ra dữ liệu đồng bộ hóa.
[40:29] Dữ liệu chúng tôi trình bày hôm nay là HRC, nhưng trên thực tế, chúng tôi đã trình bày nó như một ứng dụng để chứng minh các nguyên tắc thiết kế của đường ống của chúng tôi. Trong kỷ nguyên các nhà máy AI sắp tới, nơi robot và người máy có thể cùng tồn tại, chúng tôi tin rằng quy trình của chúng tôi có thể đóng vai trò là lớp mô phỏng và dữ liệu.
Lời cảm ơn của chúng tôi xin gửi đến Trung tâm Thử nghiệm và Chứng nhận Robot KTL, đơn vị đã cung cấp môi trường thử nghiệm và thực hiện các thí nghiệm cùng chúng tôi, và đến Unity Technologies, đơn vị đã đồng hành cùng chúng tôi ngay từ đầu và hỗ trợ chúng tôi toàn diện.


