Эта веб-страница была переведена с помощью машинного перевода для вашего удобства. Мы не можем гарантировать точность или надежность переведенного контента. Если у вас есть вопросы о точности переведенного контента, обращайтесь к официальной английской версии веб-страницы.
Что такое генерация синтетических данных?
Генерация синтетических данных — это процесс создания искусственных данных, таких как изображения, показания датчиков, текст или таблицы, которые отражают закономерности или характеристики данных реального мира. В искусственном интеллекте синтетические данные используются для обучения и тестирования моделей в тех случаях, когда реальные данные дефицитны, конфиденциальны, дороги в сборе или маркировке, или их трудно получить безопасным способом.
Синтетические данные не обязательно содержат записи о реальных людях или событиях. Однако данные, полученные из реальных источников, в зависимости от используемых методов, иногда могут воспроизводить конфиденциальную информацию.
Как работает генерация синтетических данных?
Генерация синтетических данных на основе моделирования широко используется для обработки изображений и данных с датчиков. Это может включать в себя несколько этапов:
- Создайте среду: Создайте 3D сцену или цифровой двойник, представляющий объекты, окружающую среду и датчики, имеющие отношение к системе искусственного интеллекта.
- Случайный выбор: Для увеличения разнообразия набора данных следует варьировать такие факторы, как освещение, положение объектов, текстуры, ракурсы камеры и условия окружающей среды.
- Захватывать: Визуализация изображений, видео или данных с датчиков, таких как данные о глубине и лидарные данные, из моделируемой среды.
- Автоматическая маркировка: Создавайте аннотации, такие как ограничивающие рамки, маски сегментации и положения объектов, непосредственно из результатов моделирования.
- Проверить: Оцените модели, обученные на синтетических данных, в сравнении с реальными данными и усовершенствуйте моделирование, чтобы учесть различия между ними.
Например, исследовательская группа в области производства может создать цифровой двойник завода и использовать его для генерации размеченных обучающих данных для систем искусственного интеллекта. Корейский институт промышленных технологий (KITECH) использовал Unity Industry для создания цифрового двойника литейного цеха и разработки конвейера синтетических данных для технологического ИИ в производстве , сгенерировав более 100 000 исходных кадров для взаимодействия человека и робота с помощью ИИ за 14 недель.
Какие основные методы генерации синтетических данных существуют?
Синтетические данные могут быть сгенерированы с использованием нескольких подходов, в зависимости от типа данных и предполагаемого использования:
Также можно комбинировать различные методы. Например, генеративные модели могут создавать 3D объекты или среды, которые затем используются для генерации данных на основе моделирования.
В чём разница между синтетическими и реальными данными?
Синтетические данные и данные из реального мира имеют разные сильные и слабые стороны, поэтому во многих проектах используется их комбинация.
Для чего используются синтетические данные?
Синтетические данные используются в различных отраслях для обучения и тестирования моделей искусственного интеллекта, моделирования сложных или нетипичных сценариев, а также для разработки систем в тех случаях, когда реальные данные ограничены, конфиденциальны или их сбор обходится дорого.
- Компьютерное зрение: Обучите модели обнаружения объектов, сегментации и оценки позы, используя изображения с автоматически сгенерированными аннотациями.
- Робототехника: Обучение роботов восприятию объектов и взаимодействию с ними в смоделированной среде перед их внедрением в реальный мир, в том числе с помощью робототехнического моделирования .
- Автономные транспортные средства: Создавайте и тестируйте нестандартные или опасные сценарии вождения, которые сложно или небезопасно воспроизвести на реальных дорогах.
- Производство: Используйте моделирование производственных процессов и цифровые двойники для генерации обучающих данных для контроля качества, автоматизации и взаимодействия человека и робота.
- Тестирование программного обеспечения: Сгенерируйте реалистичные тестовые данные, не используя реальные записи о клиентах.
- Здравоохранение и финансы: Генерируйте данные для тестирования, исследований или разработки моделей, минимизируя при этом доступ к конфиденциальной информации, в зависимости от способа генерации и проверки синтетических данных.
В чём преимущества генерации синтетических данных?
- Масштабирование по требованию: Генерируйте большие объемы данных, не полагаясь исключительно на сбор данных из реального мира.
- Автоматизированная маркировка: В зависимости от метода генерации, аннотации или метаданные создаются автоматически, что снижает необходимость ручной разметки.
- Снижена степень риска доступа к конфиденциальным данным: Создание синтетических наборов данных может снизить необходимость использования или обмена реальными личными или конфиденциальными данными.
- Рассмотрение нестандартных случаев: Создавайте или моделируйте необычные, опасные или дорогостоящие сценарии, которые трудно воспроизвести в реальном мире.
- Разнообразие наборов данных: Добавьте недостаточно представленные сценарии или условия для улучшения охвата набора данных, если сгенерированные данные точно отражают соответствующие реальные вариации.
Какие проблемы возникают при генерации синтетических данных?
- Разрыв между симуляцией и реальностью: Модели, обученные на смоделированных данных, могут испытывать трудности, когда реальные условия, такие как освещение, текстуры, физические процессы или шум датчиков, отличаются от условий моделирования.
- Усилия по валидации: Командам необходимо оценить, насколько синтетические данные адекватно отражают условия, с которыми столкнется модель, часто путем тестирования на реальных данных.
- Унаследованная предвзятость: Синтетические данные, полученные на основе предвзятых исходных данных или предположений, могут воспроизводить или усиливать эти искажения.
- Конфиденциальность не предоставляется автоматически: Синтетические данные, сгенерированные на основе реальных записей, потенциально могут воспроизводить конфиденциальную информацию, поэтому может потребоваться соответствующая проверка на конфиденциальность и возможность повторной идентификации.
Часто задаваемые вопросы (FAQ)
Синтетические данные — это то же самое, что и поддельные данные?
Не совсем. Синтетические данные создаются искусственно для воспроизведения соответствующих закономерностей или характеристик реальных данных. Его можно разработать для конкретных целей, таких как обучение моделей ИИ, тестирование программного обеспечения или моделирование реальных условий. Вводные данные обычно создаются для тестирования или разработки и не обязательно отражают реальные закономерности.
Можно ли обучать модели искусственного интеллекта только на синтетических данных?
В некоторых случаях — да. Возможность эффективного обучения модели с использованием только синтетических данных зависит от задачи, качества и разнообразия данных, а также от того, насколько точно они отражают условия, с которыми модель столкнется. Сочетание синтетических и реальных данных может помочь обеспечить более широкий охват, а также позволить оценивать модели в условиях реального мира.
Всегда ли синтетические данные являются конфиденциальными?
Не автоматически. Синтетические данные, сгенерированные на основе реальных записей, потенциально могут воспроизводить конфиденциальную информацию, если процесс генерации запоминает или точно воспроизводит примеры из исходного материала. Надлежащее тестирование на предмет конфиденциальности может помочь выявить эти риски до того, как данные будут переданы. Данные, полученные в результате моделирования в виртуальных средах, не являются личными записями, хотя их конфиденциальность по-прежнему зависит от способа создания системы и ресурсов.