Hero background image
Издательство "Единство
В Unity мы проводим исследования в области графики, искусственного интеллекта, производительности и многого другого. Мы делимся результатами исследований с вами и обществом, проводя беседы, конференции и публикуя их в журналах. Смотрите ниже последние публикации.

2022

Замощение шестиугольниками на практике (демонстрация)
Практический гекс-тайлинг в реальном времени

Мортен С. Миккельсен - Журнал технологий компьютерной графики (JCGT)

Чтобы обеспечить удобный и простой в применении подход к случайному расположению текстур в контексте графики реального времени, мы предлагаем адаптацию шумового алгоритма Хейтца и Нейрета, построенного по принципу "by-example". Оригинальный метод сохраняет контрастность с помощью метода сохранения гистограммы, который требует предварительного вычисления для преобразования исходной текстуры в текстуру преобразования и текстуру обратного преобразования, которые должны быть отобраны в шейдере, а не в исходную текстуру. Таким образом, требуется глубокая интеграция в приложение, чтобы это не казалось непрозрачным для автора шейдера и материала. В нашей адаптации мы отказались от сохранения гистограммы и заменили ее новым методом смешивания, который позволяет нам сэмплировать исходную текстуру. Это упущение особенно разумно для карты нормалей, поскольку она представляет собой частные производные карты высот. Чтобы смягчить переход между гексагональными плитками, мы ввели простую метрику для настройки веса смешивания. Для текстуры цвета мы уменьшаем потерю контраста, применяя функцию контраста непосредственно к весам смешивания. Хотя наш метод работает и для цвета, в нашей работе мы делаем акцент на использовании карт нормалей, поскольку неповторяющийся шум идеально подходит для имитации деталей поверхности путем возмущения нормалей.

Демонстрации ProtoRes
ProtoRes: Прото-резидуальная архитектура для глубокого моделирования человеческой позы

Борис Н. Орешкин, Флоран Боккеле, Феликс Г. Харви, Бэй Рэйт, Доминик Лафламме - ICLR 2022 (устный доклад, 5% лучших из принятых докладов)

Наша работа посвящена разработке обучаемого нейронного представления человеческой позы для продвинутого инструментария анимации с помощью ИИ. В частности, мы решаем задачу построения полной статической позы человека на основе нечетких и переменных данных пользователя (например, местоположения и/или ориентации подмножества суставов тела). Для решения этой проблемы мы предлагаем новую нейронную архитектуру, которая сочетает остаточные связи с прототипным кодированием частично заданной позы для создания новой полной позы из изученного латентного пространства. Мы показали, что наша архитектура превосходит базовый вариант на основе Transformer как по точности, так и по вычислительной эффективности. Кроме того, мы разрабатываем пользовательский интерфейс для интеграции нашей нейронной модели в Unity, 3D-платформу для разработки в реальном времени. Кроме того, мы представляем два новых набора данных, представляющих проблему статического моделирования позы человека, основанных на высококачественных данных захвата движения человека, которые будут опубликованы в открытом доступе вместе с кодом модели.

Хтекс: Htex: текстурирование по полуребрам для произвольных меш-топологий
Хтекс: Htex: текстурирование по полуребрам для произвольных меш-топологий

Вильгем Барбье, Джонатан Дюпюи - HPG 2022

Мы представляем метод текстурирования на полугранях (Htex), удобный для GPU и позволяющий текстурировать произвольные полигональные сетки без явной параметризации. В основе Htex лежит идея о том, что полуграницы кодируют внутреннюю триангуляцию полигональных сеток, где каждая полуграница охватывает уникальный треугольник с информацией о прямой смежности. Вместо того чтобы хранить отдельную текстуру для каждой грани входной сетки, как это делали предыдущие методы текстурирования без параметризации, Htex хранит квадратную текстуру для каждой полуграницы и ее двойника. Мы показываем, что этот простой переход от грани к полуграни приводит к двум важным свойствам для высокопроизводительного текстурирования без параметризации. Во-первых, Htex изначально поддерживает произвольные многоугольники, не требуя специального кода для, например, неквадратных граней. Во-вторых, Htex приводит к простой и эффективной реализации на GPU, которая использует всего три текстурных выборки на каждую полуграницу для получения непрерывного текстурирования по всей сетке. Мы демонстрируем эффективность Htex на примере рендеринга производственных активов в режиме реального времени.

Концепция предварительно рассчитанной передачи излучения на основе данных
Концепция предварительно рассчитанной передачи излучения на основе данных

Лоран Белькур, Томас Делио, Вильем Барбье, Сирил Солер - HPG 2022

В этой работе мы исследуем изменение парадигмы для построения методов передачи предварительно вычисленного излучения (PRT) на основе данных. Этот сдвиг парадигмы позволяет нам избавиться от трудностей, связанных с построением традиционных методов PRT, таких как определение базиса реконструкции, кодирование специального трассировщика для вычисления передаточной функции и т. д. Наша цель - проложить путь для методов машинного обучения, предоставив простой базовый алгоритм. Более конкретно, мы демонстрируем рендеринг непрямого освещения волос и поверхностей в реальном времени на основе нескольких измерений прямого освещения. Мы строим базовую линию на основе пар рендеров с прямым и непрямым освещением, используя только стандартные инструменты, такие как сингулярное разложение значений (SVD), для извлечения базиса реконструкции и передаточной функции.

Правило уточнения полукромок для разбиения параллельных циклов
Правило уточнения полукромок для разбиения параллельных циклов

Лоран Белькур, Томас Делио, Вильем Барбье, Сирил Солер - HPG 2022

В этой работе мы исследуем изменение парадигмы для построения методов передачи предварительно вычисленного излучения (PRT) на основе данных. Этот сдвиг парадигмы позволяет нам избавиться от трудностей, связанных с построением традиционных методов PRT, таких как определение базиса реконструкции, кодирование специального трассировщика для вычисления передаточной функции и т. д. Наша цель - проложить путь для методов машинного обучения, предоставив простой базовый алгоритм. Более конкретно, мы демонстрируем рендеринг непрямого освещения волос и поверхностей в реальном времени на основе нескольких измерений прямого освещения. Мы строим базовую линию на основе пар рендеров с прямым и непрямым освещением, используя только стандартные инструменты, такие как сингулярное разложение значений (SVD), для извлечения базиса реконструкции и передаточной функции.

Поддержка преобразованных линейно косинусов в Anisotropic GGX
Поддержка преобразованных линейно косинусов в Anisotropic GGX

Аакаш КТ, Эрик Хейц, Джонатан Дюпюи, П.Дж. Narayanan - I3D 2022

Линейно преобразованные косинусы (LTC) - это семейство распределений, которые благодаря своим аналитическим интегрирующим свойствам используются для затенения в реальном времени. Современные игровые движки используют LTC-аппроксимацию вездесущей модели GGX, но в настоящее время эта аппроксимация существует только для изотропного GGX, поэтому анизотропный GGX не поддерживается. Хотя более высокая размерность сама по себе представляет проблему, мы показываем, что при подгонке, постобработке, хранении и интерполяции LTC в анизотропном случае возникает несколько дополнительных проблем. Каждая из этих операций должна быть выполнена аккуратно, чтобы избежать артефактов рендеринга. Мы находим надежные решения для каждой операции, вводя и используя свойства инвариантности LTC. В результате мы получаем небольшую 8^4 таблицу поиска, которая обеспечивает правдоподобную и свободную от артефактов LTC-аппроксимацию анизотропного GGX и позволяет использовать его для затенения областей света в реальном времени.

Рендеринг слоистых материалов с диффузными интерфейсами
Рендеринг слоистых материалов с диффузными интерфейсами

Элоиза де Динешин, Лоран Белькур - I3D 2022

В данной работе мы представляем новый метод визуализации в реальном времени ламбертианских поверхностей с шероховатым диэлектрическим покрытием. Мы показываем, что внешний вид таких конфигураций можно точно представить с помощью двух микрофасеточных лепестков, учитывающих прямое и косвенное взаимодействие соответственно. Мы численно подгоняем эти лепестки, основываясь на статистике направленности первого порядка (энергия, среднее и дисперсия) переноса света с помощью 5D-таблиц, и сужаем их до 2D + 1D с помощью аналитических форм и уменьшения размерности. Мы демонстрируем качество нашего метода, эффективно отображая грубый пластик и керамику, в точности соответствующую реальным условиям. Кроме того, мы усовершенствовали современную модель слоистого материала, включив в нее ламбертианские интерфейсы.

- 2021-2019 $

FC-GAGA: Архитектура полносвязного графа для пространственно-временного прогнозирования трафика

Борис Н. Орешкин, Арезу Амини, Люси Койл, Марк Дж. Коутс (AAAI 2021)

Прогнозирование многомерных временных рядов - важная задача, которая находит применение в управлении дорожным движением, настройке сотовых сетей и количественном финансировании. Особый случай проблемы возникает, когда имеется граф, отражающий взаимосвязи между временными рядами. В этой статье мы предлагаем новую архитектуру обучения, которая достигает производительности, сравнимой с лучшими существующими алгоритмами или даже превосходящей их, не требуя при этом знания графа. Ключевым элементом предлагаемой нами архитектуры является обучаемый механизм управления жестким графом с полной связностью, который позволяет использовать современную и высокоэффективную с вычислительной точки зрения архитектуру прогнозирования временных рядов с полной связностью в приложениях прогнозирования трафика. Экспериментальные результаты на двух наборах данных сети общественного трафика иллюстрируют ценность нашего подхода, а исследования абляции подтверждают важность каждого элемента архитектуры.

Разрезанная потеря Вассерштейна для нейронного синтеза текстур

Eric Heitz, Kenneth Vanhoey, Thomas Chambon, Laurent Belcour - To appear in CVPR 2021

Мы решаем задачу вычисления текстурных потерь на основе статистики, извлеченной из активаций признаков в конволюционной нейронной сети, оптимизированной для распознавания объектов (например, VGG-19). В основе математической задачи лежит измерение расстояния между двумя распределениями в пространстве признаков. Потеря матрицы Грама является повсеместной аппроксимацией для этой задачи, но она имеет ряд недостатков. Наша цель - продвигать нарезанное расстояние Вассерштайна как замену ему. Он теоретически обоснован, практичен, прост в реализации и позволяет добиться результатов, визуально превосходящих синтез текстуры путем оптимизации или обучения генеративных нейронных сетей.

Улучшение уровня детализации шейдеров и текстур с помощью конусов лучей
Улучшение уровня детализации шейдеров и текстур с помощью конусов лучей

Tomas Akenine-Möller, Cyril Crassin, Jakub Boksansky, Laurent Belcour, Alexey Panteleev, Oli Wright - Опубликовано в Journal of Computer Graphics Techniques (JCGT)

При трассировке лучей в реальном времени фильтрация текстур является важной техникой для повышения качества изображения. Современные игры, например Minecraft с RTX на Windows 10, используют конусы лучей для определения отпечатков текстур. В этой статье мы представляем несколько усовершенствований алгоритма ray-cones, которые улучшают качество и производительность изображения и облегчают его использование в игровых движках. Мы показываем, что общее время на кадр может сократиться примерно на 10 % в трассировщике путей на базе GPU, и предоставляем реализацию для публичного домена.

Приведение точного Френеля к рендерингу в реальном времени: преинтегрируемая декомпозиция
Приведение точного Френеля к рендерингу в реальном времени: преинтегрируемая декомпозиция

Laurent Belcour, Megane Bati, Pascal Barla - Опубликовано в ACM SIGGRAPH 2020 Talks and Courses

Мы представляем новую приближенную модель отражения Френеля, которая позволяет точно воспроизводить истинное отражение в движках рендеринга в реальном времени. Наш метод основан на эмпирической декомпозиции пространства возможных кривых Френеля. Он совместим с предварительной интеграцией освещения на основе изображения и освещения области, используемого в движках реального времени. Наша работа позволяет использовать параметризацию отражения [Gulbrandsen 2014], которая ранее была ограничена автономным рендерингом.

Параллельные двоичные деревья
Параллельные двоичные деревья

Джонатан Дюпюи - HPG 2020

Мы представляем параллельное двоичное дерево (CBT) - новое параллельное представление для параллельного построения и обновления произвольных двоичных деревьев. По сути, наше представление состоит из двоичной кучи, то есть одномерного массива, в котором явно хранится дерево редукции суммы битового поля. В этом битовом поле каждый бит с одним значением представляет собой листовой узел двоичного дерева, закодированного в CBT, который мы находим алгоритмически, используя двоичный поиск над суммой-редукцией. Мы показываем, что эта конструкция позволяет диспетчеризировать до одного потока на листовой узел и что, в свою очередь, эти потоки могут безопасно разделять и/или удалять узлы одновременно с помощью простых побитовых операций над битовым полем. Практическая польза CBT заключается в их способности ускорять алгоритмы на основе двоичных деревьев с помощью параллельных процессоров. Чтобы подтвердить это утверждение, мы используем наше представление для ускорения алгоритма на основе longest-edgebisection, который вычисляет и визуализирует адаптивную геометрию для крупномасштабных рельефов полностью на GPU. Для этого конкретного алгоритма CBT ускоряет скорость обработки линейно с ростом числа процессоров.

Не можете инвертировать CDF? Параметризация области под кривой с треугольным разрезом
Не можете инвертировать CDF? Параметризация области под кривой с треугольным разрезом

Эрик Хайц - EGSR 2020

Мы представляем точный, аналитический и детерминированный метод для выборки плотностей, кумулятивные функции распределения которых (CDF) не могут быть обращены аналитически. Действительно, метод обратного CDF часто считается оптимальным для выборки неоднородных плотностей. Если CDF не является аналитически инвертируемым, то типичными запасными решениями являются либо приближенные, либо численные, либо недетерминированные, такие как принятие-отклонение. Чтобы преодолеть эту проблему, мы покажем, как вычислить аналитическую сохраняющую площадь параметризацию области под кривой плотности цели. С его помощью мы генерируем случайные точки, равномерно распределенные под кривой целевой плотности, а их абсциссы, таким образом, распределены с целевой плотностью. Технически наша идея заключается в использовании приблизительной аналитической параметризации, ошибка которой может быть представлена геометрически в виде треугольника, который легко вырезать. Эта параметризация с треугольным разрезом дает точные и аналитические решения задач выборки, которые, предположительно, не поддавались аналитическому решению.

Рендеринг слоистых материалов с анизотропными интерфейсами
Рендеринг слоистых материалов с анизотропными интерфейсами

Филипп Вейер, Лоран Белькур - опубликовано в журнале Journal of Computer Graphics Techniques (JCGT)

Мы представляем легкий и эффективный метод визуализации слоистых материалов с анизотропными границами. Наша работа расширяет ранее опубликованные статистические рамки для работы с анизотропными моделями микрофасеток. Ключевым моментом нашей работы является то, что при проецировании на касательную плоскость лепестки BRDF от анизотропного распределения GGX хорошо аппроксимируются эллипсоидными распределениями, выровненными по касательной к рамке: их ковариационная матрица диагональна в этом пространстве. Мы используем это свойство и выполняем изотропный слоистый алгоритм на каждой оси анизотропии независимо. Мы также обновили отображение шероховатости на дисперсию направленности и оценку средней отражающей способности для учета анизотропии.

Интегрирование и моделирование двумерных проективных распределений Коши в произвольных многоугольных областях

Джонатан Дюпюи, Лоран Белькур и Эрик Хейц - Технический отчет 2019

Рассмотрим однородную переменную на единичной верхней полусфере размерности d. Известно, что прямолинейная проекция через центр единичной сферы на плоскость над ней распределяет эту переменную по d-мерному проективному распределению Коши. В данной работе мы используем геометрию этой конструкции в размерности d=2, чтобы получить новые свойства для двумерного проективного распределения Коши. В частности, с помощью геометрической интуиции мы показываем, что интегрирование и моделирование двумерного проективного распределения Коши в произвольной области означает, соответственно, измерение и выборку телесного угла, под которым находится геометрия этой области, если смотреть из начала единичной сферы. Чтобы сделать этот результат практичным, например, для генерации усеченных вариантов двумерного проективного распределения Коши, мы расширим его в двух аспектах. Во-первых, мы даем обобщение на распределения Коши, параметризованные коэффициентами корреляции масштаба местоположения. Во-вторых, мы предоставляем специализацию для полигональных доменов, которая приводит к закрытым выражениям. Мы предоставляем полную реализацию MATLAB для случая треугольных доменов, а также кратко обсуждаем случай эллиптических доменов и дальнейшее распространение наших результатов на двумерные распределения Стьюдента.

Система отображения неровностей на основе градиента поверхности
Система отображения неровностей на основе градиента поверхности

Morten Mikkelsen 2020

В статье предложена новая платформа для послойного построения и композиции карт нормалей и рельефа, включающая поддержку нескольких наборов текстурных координат, а также процедурно генерируемые координаты текстур и геометрии. Более того, мы обеспечили адекватную поддержку и интеграцию для карт рельефа согласно заданному объему, например, проекторы декалей, трехплоскостная проекция и шумовые функции.

Мультистилизация видеоигр в реальном времени с помощью информации из G-буфера

Адель Сен-Дени, Кеннет Ванхой, Томас Делиот HPG 2019

Мы исследуем, как использовать преимущества современных нейронных методов передачи стиля для изменения стиля видеоигр во время выполнения. Нейронные сети для переноса стилей, созданные в последнее время, предварительно обучены и позволяют быстро переносить любой стиль во время выполнения программы. Однако единый стиль применяется глобально, ко всему изображению, в то время как мы хотели бы предоставить пользователю более тонкие авторские инструменты. В этой работе мы позволяем пользователю назначать стили (с помощью изображения стиля) различным физическим величинам, находящимся в G-буфере конвейера отложенного рендеринга, таким как глубина, нормали или идентификатор объекта. Затем наш алгоритм плавно интерполирует эти стили в соответствии с визуализируемой сценой: например, для разных объектов, глубин или ориентаций возникает свой стиль.

- 2019-2018 $

Распределение ошибок Монте-Карло в виде синего шума в пространстве экрана путем распределения пиксельных семян между кадрами
Распределение ошибок Монте-Карло в виде синего шума в пространстве экрана путем распределения пиксельных семян между кадрами

Эрик Хейц, Лоран Белькур. EGSR 2019

Представлен семплер, генерирующий попиксельные семплы, обеспечивая высокое качество визуализации благодаря двум ключевым свойствам, связанным с создаваемыми этим семплером ошибками интегрирования метода Монте Карло. Во-первых, последовательность каждого пикселя - это последовательность Соболя, скремблированная по Оуэну, которая обладает самыми лучшими свойствами сходимости. Таким образом, ошибки Монте-Карло имеют малую величину. Во-вторых, эти ошибки распределяются в виде синего шума по экранному пространству. Такой подход дополнительно увеличивает качество визуализации. Наш сэмплер легкий и быстрый. Представлена реализация с текстурой малого размера и двумя операциями xor. В приложении приводятся сравнения с предыдущими работами для различных сцен и различного количества семплов.

Сэмплер с малой погрешностью, который распределяет ошибки Монте-Карло как синий шум в пространстве экрана
Сэмплер с малой погрешностью, который распределяет ошибки Монте-Карло как синий шум в пространстве экрана

Эрик Хайтц, Лорен Белкур - доклад на ACM SIGGRAPH 2019

Представлен семплер, генерирующий попиксельные семплы, обеспечивая высокое качество визуализации благодаря двум ключевым свойствам, связанным с создаваемыми этим семплером ошибками интегрирования метода Монте Карло. Во-первых, последовательность каждого пикселя - это последовательность Соболя, скремблированная по Оуэну, которая обладает самыми лучшими свойствами сходимости. Таким образом, ошибки Монте-Карло имеют малую величину. Во-вторых, эти ошибки распределяются в виде синего шума по экранному пространству. Такой подход дополнительно увеличивает качество визуализации. Предложенный семплер прост и обеспечивает высокую скорость вычислений. Представлена реализация с текстурой малого размера и двумя операциями xor. В приложении приводятся сравнения с предыдущими работами для различных сцен и различного количества семплов.

Карта с низким уровнем искажений между треугольником и квадратом
Карта с низким уровнем искажений между треугольником и квадратом

Эрик Хайц - Технологический отчет 2019

Мы вводим карту с малым искажением между треугольником и квадратом. Это отображение дает параметризацию, сохраняющую площадь, которая может быть использована для выборки случайных точек с равномерной плотностью в произвольных треугольниках. Эта параметризация имеет два преимущества по сравнению с параметризацией квадратного корня, обычно используемой для треугольной выборки. Во-первых, он обладает меньшими искажениями и лучше сохраняет свойства синего шума входных образцов. Во-вторых, в его вычислениях используются только арифметические операции (+, *), что ускоряет его оценку.

Выборка GGX-распределения видимых нормалей

Эрик Хайц - JCGT 2018

Важная выборка микрофасеточных BSDF с использованием их распределения видимых нормалей (VNDF) дает значительное снижение дисперсии при рендеринге Монте-Карло. В этой статье мы описываем эффективную и точную процедуру выборки для VNDF распределения микрофасеток GGX. Эта процедура использует свойство, что GGX - это распределение нормалей усеченного эллипсоида, и выборка GGX VNDF эквивалентна выборке 2D-проекции этого усеченного эллипсоида. Для этого мы упрощаем задачу, используя линейное преобразование, которое отображает усеченный эллипсоид на полусферу. Поскольку линейные преобразования сохраняют однородность проецируемых площадей, отбор образцов в конфигурации полусферы и обратное преобразование образцов в конфигурацию эллипсоида позволяет получить достоверные образцы из GGX VNDF.

Аналитический расчет телесного угла, которому противолежит произвольно расположенный эллипсоид в точечном источнике

Эрик Хайц - Ядерные приборы и методы в физических исследованиях 2018

Мы представляем геометрический метод вычисления эллипса, который занимает ту же область телесных углов, что и произвольно расположенный эллипсоид. С помощью этого метода мы можем распространить существующие аналитические расчеты телесных углов эллипсов на эллипсоиды. Наша идея заключается в применении линейного преобразования к эллипсоиду, в результате которого он превращается в сферу, из которой можно вычислить диск, покрывающий ту же область телесных углов. Мы покажем, что, применив обратное линейное преобразование к этому диску, мы получим эллипс, который занимает ту же область телесных углов, что и эллипсоид. Мы предлагаем реализацию нашего алгоритма в MATLAB и проверяем его численно.

Заметка о выборке длины пути с неэкспоненциальными распределениями

Эрик Хайц, Лоран Белькур - Технологический отчет 2018

Выборка длины пути - это процесс выборки случайных интервалов в соответствии с распределением расстояний. Это означает, что вместо выборки точного расстояния из распределения расстояний, выборка длины пути генерирует интервал возможных расстояний. Процесс выборки длины пути корректен, если ожидание интервалов соответствует целевому распределению расстояний. Другими словами, усреднение по всем выборочным интервалам должно сходиться к распределению расстояний по мере увеличения их количества. В этой заметке мы подчеркиваем, что распределение расстояний, используемое для выборки пунктуальных расстояний, и распределение длины пути, используемое для выборки интервалов, в общем случае не совпадают. Это различие может удивить, поскольку, насколько нам известно, выборка по длине пути в основном изучалась в контексте теории транспорта, где распределение расстояний обычно экспоненциальное: в этом особом случае распределение расстояний и распределение длины пути оказываются одним и тем же экспоненциальным распределением. Однако они не совпадают в общем случае, когда распределение расстояний неэкспоненциальное.

Комбинирование аналитического прямого освещения и стохастических теней
Комбинирование аналитического прямого освещения и стохастических теней

Эрик Хейц, Стивен Хилл (Lucasfilm), Морган Макгуайр (NVIDIA) - I3D 2018 (короткая статья) (награда за лучшую презентацию)

В данной работе мы предлагаем коэффициентную оценку уравнения прямого освещения, которая позволяет сочетать аналитические методы освещения со стохастическими лучевыми тенями, сохраняя при этом корректность. Наш основной вклад заключается в том, чтобы показать, что затененное освещение может быть разделено на произведение незатененного освещения и взвешенной по освещенности тени. Эти члены могут быть вычислены отдельно - возможно, с использованием разных методик - без ущерба для точности конечного результата, который дает их произведение. Эта формулировка расширяет возможности применения аналитических методов освещения в приложениях трассировки лучей, где они до сих пор не использовались, поскольку не учитывали тени. Мы используем эти методы для получения четких и бесшумных теней на изображении без тени и освещения и вычисления взвешенного изображения с тенью с помощью стохастической трассировки лучей. Преимущество ограничения стохастической оценки взвешенным теневым изображением заключается в том, что конечный результат проявляет шум только в тенях. Более того, мы деноизируем тени отдельно от освещения, так что даже агрессивное деноизирование только размывает тени, а высокочастотные детали затенения (текстуры, карты нормалей и т. д.) сохраняются.

Непериодическая черепица процедурных шумовых функций
Непериодическая черепица процедурных шумовых функций

Александр Кириллов - HPG 2018

Процедурные функции шума находят множество применений в компьютерной графике, начиная от синтеза текстур и заканчивая моделированием атмосферных эффектов или заданием геометрии ландшафта. Шум может быть либо предварительно вычислен и сохранен в текстуре, либо оценен непосредственно во время выполнения приложения. Этот выбор позволяет найти компромисс между дисперсией изображения, потреблением памяти и производительностью.

Для уменьшения визуального повторения можно использовать усовершенствованные алгоритмы создания плиток. Плитки Ванга позволяют облицевать плоскость непериодическим способом, используя относительно небольшой набор текстур. Плитки могут быть организованы в единую текстурную карту, чтобы GPU мог использовать аппаратную фильтрацию.

В этой статье мы представляем модификации нескольких популярных процедурных функций шума, которые напрямую создают текстурные карты, содержащие наименьший полный набор плиток Ванга. Результаты, представленные в данной работе, позволяют использовать непериодическую черепицу для этих шумовых функций и текстур на их основе как во время выполнения, так и в качестве этапа предварительной обработки. Эти результаты также позволяют уменьшить повторение шумовых эффектов в генерируемых компьютером изображениях при небольших затратах на производительность, сохраняя или даже уменьшая потребление памяти.

Высокопроизводительные шумы по образцам с помощью оператора смешивания с сохранением гистограммы
Высокопроизводительные шумы по образцам с помощью оператора смешивания с сохранением гистограммы

Эрик Хайц, Фабрис Нейрет (Inria) - HPG 2018 (премия за лучший доклад)

Мы предлагаем новый алгоритм шумового воздействия на основе примера, который принимает на вход небольшой пример стохастической текстуры и синтезирует бесконечный выход с тем же внешним видом. Он работает на любых входных сигналах со случайной фазой, а также на многих неслучайных фазовых сигналах, которые являются стохастическими и непериодическими, как правило, это природные текстуры, такие как мох, гранит, песок, кора и т.д. Наш алгоритм достигает высококачественных результатов, сравнимых с современными методами процедурного шумоподавления, но при этом работает более чем в 20 раз быстрее.

Неконтролируемое глубокое одноизобразительное внутреннее разложение с использованием последовательностей изображений, меняющих освещенность
Неконтролируемое глубокое одноизобразительное внутреннее разложение с использованием последовательностей изображений, меняющих освещенность

Луи Леттри (ETH Zürich), Кеннет Ванхой, Люк Ван Гул (ETH Zürich) - Pacific Graphics 2018 / Computer Graphics Forum

Внутренняя декомпозиция разлагает сфотографированную сцену на альбедо и тени. Устранение затенения позволяет "порадовать" изображения, которые затем можно повторно использовать в практически пересвеченных сценах. Для решения этой проблемы мы предлагаем метод обучения без контроля.

Последние методы используют контролируемое обучение: для этого требуется большой набор известных разложений, которые трудно получить. Вместо этого мы обучаемся на неаннотированных изображениях, используя временные снимки, полученные со статичных веб-камер. Мы используем предположение, что альбедо статично по определению, а затенение меняется в зависимости от освещения. Мы расшифровываем это как сиамское обучение для глубокого обучения.

- 2018-2016 $

Эффективная визуализация слоистых материалов с помощью атомарного разложения со статистическими операторами
Эффективная визуализация слоистых материалов с помощью атомарного разложения со статистическими операторами

Лоран Белькур - ACM SIGGRAPH 2018

Мы разработали новую структуру для эффективного анализа и расчета переноса света в слоистых материалах. Наш вывод состоит из двух шагов. Во-первых, мы разложили перенос света на набор атомарных операторов, которые действуют на его статистику направленности. В частности, наши операторы состоят из отражения, преломления, рассеяния и поглощения, комбинации которых достаточны для описания статистики многократного рассеяния света в слоистых структурах. Мы показываем, что первые три момента направленности (энергия, среднее значение и дисперсия) уже обеспечивают точную сводку. Во-вторых, мы расширяем метод сложения-удвоения, чтобы эффективно поддерживать произвольные комбинации таких операторов. Во время затенения мы отображаем направленные моменты на лепестки BSDF. Мы убедились, что полученный BSDF точно соответствует истинному положению дел в легкой и эффективной форме. В отличие от предыдущих методов, мы поддерживаем произвольное количество текстурированных слоев и демонстрируем практичный и точный рендеринг многослойных материалов как в автономном режиме, так и в режиме реального времени, не требуя предварительных вычислений для каждого материала.

Адаптивная параметризация для получения и рендеринга материалов
Адаптивная параметризация для получения и рендеринга материалов

Джонатан Дюпюи и Венцель Якоб (EPFL) - ACM SIGGRAPH Asia 2018

Одним из ключевых компонентов любой системы рендеринга, основанной на физике, является подробная спецификация, характеризующая взаимодействие света и материи всех материалов, присутствующих в сцене, обычно с помощью функции распределения двунаправленного отражения (BRDF). Несмотря на их полезность, доступ к реальным наборам BRDF-данных остается ограниченным: это связано с тем, что измерения требуют сканирования четырехмерной области с достаточным разрешением, что является утомительным и часто невыполнимым процессом, отнимающим много времени. Мы предлагаем новую параметризацию, которая автоматически адаптируется к поведению материала, искривляя лежащую в основе четырехмерную область таким образом, чтобы большая часть объема приходилась на области, в которых BRDF принимает незначительные значения, в то время как нерелевантные области сильно сжимаются. Для такой адаптации достаточно провести краткое измерение светоотражающих свойств материала в одном или двух измерениях. Наша параметризация является унифицированной в том смысле, что она объединяет несколько этапов, которые ранее требовали промежуточных преобразований данных: одно и то же отображение может одновременно использоваться для получения BRDF, хранения и поддерживает эффективную генерацию образцов Монте-Карло.

Стохастические тени
Стохастические тени

Эрик Хейц, Стивен Хилл (Lucasfilm), Морган МакГуайр (NVIDIA)

В данной работе мы предлагаем коэффициентную оценку уравнения прямого освещения, которая позволяет сочетать аналитические методы освещения со стохастическими лучевыми тенями, сохраняя при этом корректность. Наш основной вклад заключается в том, чтобы показать, что затененное освещение может быть разделено на произведение незатененного освещения и взвешенной по освещенности тени. Эти члены могут быть вычислены отдельно - возможно, с использованием разных методик - без ущерба для точности конечного результата, который дает их произведение.

Эта формулировка расширяет возможности применения аналитических методов освещения в приложениях трассировки лучей, где их до сих пор избегали, поскольку они не учитывали тени. Мы используем эти методы для получения четких и бесшумных теней на изображении без тени и освещения и вычисления взвешенного изображения с тенью с помощью стохастической трассировки лучей. Преимущество ограничения стохастической оценки взвешенным теневым изображением заключается в том, что конечный результат проявляет шум только в тенях. Более того, мы деноизируем тени отдельно от освещения, так что даже агрессивное деноизирование только размывает тени, а высокочастотные детали затенения (текстуры, карты нормалей и т. д.) сохраняются.

Адаптивная тесселяция на GPU с вычислительными шейдерами
Адаптивная тесселяция на GPU с вычислительными шейдерами

Джад Хури, Джонатан Дюпюи и Кристоф Риччио - GPU Zen 2

Растеризаторы GPU наиболее эффективны, когда примитивы проецируются более чем на несколько пикселей. Ниже этого предела в Z-буфере начинается алиасинг, и скорость затенения резко снижается [Riccio 12]; это делает сложным рендеринг геометрически сложных сцен, поскольку любой умеренно удаленный полигон будет проецироваться до субпиксельного размера. Чтобы минимизировать такие субпиксельные проекции, простое решение заключается в процедурном уточнении грубых сеток по мере их приближения к камере. В этой главе мы хотим разработать такой метод процедурного уточнения для произвольных полигональных сеток.

Шейдинг сцен с линейными и дисковыми источниками света в реальном времени с использованием преобразованных линейно косинусов
Шейдинг сцен с линейными и дисковыми источниками света в реальном времени с использованием преобразованных линейно косинусов

Эрик Хайц (Unity Technologies) и Стивен Хилл (Lucasfilm) - ACM SIGGRAPH Courses 2017

Недавно мы представили новую технику затенения в реальном времени, предназначенную для освещения с полигональными формами. В этом докладе мы расширим эту схему подсветки областей, добавив к полигонам подсветку в виде линий, сфер и дисков.

Использование карт нормалей, основанных на теории микрограней, для устойчивой трассировки пути по методу Монте-Карло
Использование карт нормалей, основанных на теории микрограней, для устойчивой трассировки пути по методу Монте-Карло

Винсент Шюсслер (KIT), Эрик Хайц (Unity Technologies), Йоханнес Ханика (KIT) и Карстен Дахсбахер (KIT) - ACM SIGGRAPH ASIA 2017

Нормальное отображение имитирует визуальные детали на поверхностях с помощью поддельных нормалей затенения. Однако полученная модель поверхности геометрически невозможна, и поэтому нормальное отображение часто считается принципиально несовершенным подходом с неизбежными проблемами для отслеживания траектории Монте-Карло: оно нарушает либо внешний вид (черные границы, потеря энергии), либо интегратор (различный прямой и обратный перенос света). В этой статье мы представляем микрофасетное отображение нормалей - альтернативный способ подделки геометрических деталей, не нарушающий надежности трассировки пути Монте-Карло, благодаря чему эти проблемы не возникают.

Параметризация, сохраняющая форму сферического купола для сферических распределений
Параметризация, сохраняющая форму сферического купола для сферических распределений

Джонатан Дюпюи, Эрик Хейц и Лоран Белькур - ACM SIGGRAPH 2017

Мы вводим новую параметризацию для сферических распределений, основанную на точке, расположенной внутри сферы, которую мы называем поворотной. Шарнир служит центром прямолинейной проекции, которая отображает твердые углы на противоположную сторону сферы. Преобразуя сферические распределения таким образом, мы получаем новые параметрические сферические распределения, которые могут быть оценены и выбраны по важности из исходных распределений с помощью простых выражений в замкнутой форме. Более того, мы доказываем, что если исходное распределение может быть дискретизировано и/или проинтегрировано по сферической шапке, то и преобразованное распределение может быть таким же. Мы используем свойства нашей параметризации для получения эффективных методов сферического освещения для рендеринга как в реальном времени, так и в автономном режиме. Наши методы надежны, быстры, просты в реализации и обеспечивают качество, превосходящее предыдущие работы.

Практическое применение теории микрограней для моделирования переменной радужности
Практическое применение теории микрограней для моделирования переменной радужности

Лоран Белькур (Unity), Паскаль Барла (Inria) - ACM SIGGRAPH 2017

Тонкопленочная переливчатость позволяет воспроизвести внешний вид кожи. Однако эта теория требует от движков спектрального рендеринга (таких как Maxwell Render) корректной интеграции изменения внешнего вида в зависимости от точки зрения (известного как гониохроматизм). Это связано с алиасингом в спектральной области, поскольку рендеры реального времени работают только с тремя компонентами (RGB) для всего диапазона видимого света. В этой работе мы показываем, как сгладить тонкопленочную модель, как включить ее в теорию микрофасетов и как интегрировать ее в движок рендеринга в реальном времени. Это расширяет диапазон воспроизводимых изображений с помощью микрофасетных моделей.

Линейно-световое затенение с линейно преобразованными косинусами
Линейно-световое затенение с линейно преобразованными косинусами

Эрик Хейц, Стивен Хилл (Lucasfilm) - Дзен GPU (книга)

В этой главе книги мы расширяем нашу систему освещения области, основанную на линейно преобразованных косинусах, для поддержки линейного (или линейного) освещения. Линейные светильники - это хорошее приближение к цилиндрическим светильникам с небольшим, но ненулевым радиусом. Мы описываем, как аппроксимировать эти светильники линейными светильниками, имеющими схожую мощность и затенение, и обсуждаем обоснованность этой аппроксимации.

Практическое введение в спектральный анализ светопереноса
Практическое введение в спектральный анализ светопереноса

Лоран Белькур - Курсы ACM SIGGRAPH 2016

Частотный анализ переноса света выражает физически обоснованное рендеринг (PBR) с помощью инструментов обработки сигналов. Таким образом, он может предсказывать частоту дискретизации, выполнять денуазинг, сглаживание и т. д. Было предложено множество методов для решения конкретных случаев переноса света (движение, линзы и т.д.). Цель этого курса - ввести понятия и представить практические сценарии применения частотного анализа легкого транспорта в едином контексте. Чтобы облегчить понимание теоретических элементов, частотный анализ будет представлен в паре с реализацией.

2016

Шейдинг сцен с полигональными источниками света в реальном времени с использованием преобразованных линейно косинусов
Шейдинг сцен с полигональными источниками света в реальном времени с использованием преобразованных линейно косинусов

Эрик Хайц, Джонатан Дюпюи, Стивен Хилл (Ubisoft), Дэвид Нойбелт (Ready at Dawn Studios) - ACM SIGGRAPH 2016

Затенение с помощью площадного освещения придает CG-рендерам большую реалистичность. Однако он требует решения сферических уравнений, что делает его сложным для рендеринга в реальном времени. В этом проекте мы разрабатываем новое сферическое распределение, которое позволяет нам затенять физически основанные материалы полигональным освещением в реальном времени.