Повышая качество компьютерного зрения с помощью синтетических данных

В сочетании с итеративной природой обучения систем компьютерного зрения, сбор и аннотирование данных из реального мира — это дорогая и долгая работа. В Neural Pocket обучение систем на данных реального мира требует много итераций, зачастую около 30. 

В каждом из этих циклов данные реального мира нужно собрать (фотографии, видео, съемки с дронов), аннотировать (промаркировать вручную силами специальных сотрудников), провести обучение модели и оценить результаты, что обычно требует около одной недели. Для проектов 30 циклами обучения затраты разрастаются до 150 000 $, а сроки производства готового решения доходят до 6 месяцев.

Благодаря Unity и пакету Unity Computer Vision Perception, Neural Pocket значительно сократила число итераций и связанные с ними затраты на обучение системы компьютерного зрения, вместе с тем добившись лучшего качества системы. Коллектив использует инструменты Unity для получения синтетических изображений с автоматической маркировкой и аннотацией для итеративного обучения систем компьютерного зрения на комбинированных массивах синтетических и реальных данных.

Проводя большую часть циклов обучения на массивах, полученным с помощью Unity Computer Vision Perception Package, и всего один цикл обучения на реальных данных, компания получила качественную модель всего за неделю, по сути сэкономив в среднем около 95% времени и денег.

Познакомимся с опытом использования пакета Unity Computer Vision Perception в проектах из области обеспечения безопасности.

Партнеры по этому проекту Neural Pocket хотели обеспечить дополнительную безопасность для своего офиса. Они обратились к разработчику с просьбой создать модель компьютерного зрения для системы смарт-камер, что позволило бы лучше отслеживать опасные объекты. 

Чтобы собрать реальные данные для обучения, Neural Pocket организовали видеосъемку, где люди несли в руках, ножи, биты и огнестрельное оружие в различных условиях обнаружения. На основе отснятого материала Neural Pocket создали приблизительно тысячу статичных изображений из видео и описали оружие с помощью внутренних специалистов по аннотации, вручную промаркировавших каждое изображение.

По результатам первого цикла обучения модель обнаруживала ножи в 27% случаев, а биты и огнестрельное оружие в 80 случаях.

Для повышения производительности Neural Pocket воспользовалась пакетом Unity Computer Vision Perception, чтобы создать большие массивы данных для обучения и проверки системы компьютерного зрения.

«Пакет Unity Computer Vision Perception наводит порядок в работе и позволяет использовать одни и те же материалы в разных проектах», — Ромейн Анженью, глава отдела симуляции в Neural Pocket. «Гибкие компоненты, включая сценарии, рандомизаторы, теги, метки и смарт-камеры, позволяют нам в широких пределах настраивать вариативность в интерфейсе инструмента».

Модели оружия Neural Pocket взяла из Unity Asset Store и других магазинов, и легко интегрировала их в инструменты компьютерного зрения Unity для обнаружения заданных объектов. Массив содержал много вариаций изображений, например, оружие в руках и отдельно лежащее оружие.

Unity Computer Vision предлагает гибкое решение для получения тысяч или даже миллионов синтетических изображений. Neural Pocket получила 5100 синтетических кадров, в пять раз больше количества реальных кадров. Проведя обучение модели на комбинированном массиве реальных и синтетических данных, разработчики получили следующие показатели: вероятность обнаружения ножей увеличилась с 27% до 87%, а для обнаружения бит и огнестрельного оружия достигнуты идеальные 100%. 

«Мы были приятно удивлены получить отличные результаты с первой попытки», — говорит Алекс Дэниэлс, старший эксперт и руководитель группы Technology Incubation. «Возможность легко и быстро менять параметры для улучшения массивов данных и отсутствие зависимости от собранных реальных данных значительно ускорили нам процесс разработки».

Партнер Neural Pocket по другому проекту хотел обучить ИИ для обнаружения людей, ведущих съемку на смартфон, для улучшения защиты конфиденциальных данных, например, номеров кредитных карт.

Компания уже использовала стандартные функции пакета Unity Computer Vision Perception для обнаружения опасных объектов, но гибкость и открытый исходный код открыли дополнительные возможности для более сложного проекта. 

«Стандартная конфигурация пакета достаточна для повышения эффективности компьютерного зрения, но возможности инструмента можно расширить множеством дополнительных функций для других областей применения», — говорит Анженью.

Разработчики создали собственную серию вариаций для адаптации под следующие технические особенности обнаружения смартфонов:

• Множество моделей — разработан логический метод сочетания различных базовых компонентов (логотипы, камеры) для генерации реалистичных 3D-моделей доступных на рынке телефонов.
• Бесконечное разнообразие дизайна корпусов — реализовано наложение любых изображений из Google Image API на модели корпусов телефонов.
• Разнообразие положений в руках и частичного перекрытия пальцами — разработаны модульные модели кистей различного цвета кожи в разных положениях.
• За смартфон может быть принято много различных объектов – созданы неаннотированные объекты-ловушки, имеющие похожую форму, которые не должны вызывать срабатывания; тем самым реализовано условие «не каждый прямоугольный объект является смартфоном» для снижения вероятности ошибок.

Neural Pocket собрала массив из 20 540 реальных изображений и получила 27 478 синтетических изображений. На основе реальных данных модель обнаруживала смартфоны в 89,8% случаев; после обучения на комбинированном массиве вероятность выросла до 92,9%.

«Улучшение кажется небольшим, но обнаружение телефона проводится по серии кадров видеоряда, поэтому прирост в 3% на статических изображениях значительно увеличит вероятность обнаружения телефонов в целом», — говорит Дэниэлс.

Unity помогла Neural Pocket значительно увеличить производительность, что позволило команде принимать больше заказов и увеличить доход. Neural Pocket продолжает использовать инструменты компьютерного зрения Unity в различных проектах; с другими примерами можно ознакомиться в блоге. 

В будущем Neural Pocket планирует уменьшить зависимость от реальных данных и увеличить долю синтетических данных в массивах для обучения до 90%. Главный фактор, способствующий этому изменению, — уверенность разработчиков в возможностях инструментов компьютерного зрения Unity.

«Учитывая внимание, уделяемое потребностям пользователей разработчиками, мы считаем, что пакет Unity Computer Vision Perception со временем будет становиться лучше, становясь эталонным инструментом для своих задач и отправной точкой для наших проектов компьютерного зрения», — говорит Анженью.