Нейросеть RawNeRF от Google повышает качество ночных снимков

Режим «Ночной съёмки» у современных смартфонов традиционно считался слабым местом и только некоторые модели могли похвастаться более или менее адекватным результатом. В Google решили найти выход и исправить положение дел за счёт программного обеспечения и искусственного интеллекта. Компания анонсировала нейросеть RawNeRF.

Алгоритм, который использует эта сеть, заметно улучшает качество исходной фотографии. Он умеет восстанавливать цвета, резкость и минимизировать уровень шума.

На видео ниже и скриншотах, можно увидеть, насколько хорошо работает алгоритм. В некоторых фото получилось добиться такого качества, что надпись на табличке, которую не было видно из-за высокого шума, теперь можно разобрать.

Команда описывает, как она использовала Neural Radiance Fields (NeRF) для создания высококачественного анализа нового вида из коллекции входных изображений. NeRF был обучен сохранять полный динамический диапазон сцены, и с ним можно управлять фокусом, экспозицией и тональным отображением после того, как был сделан снимок.

После оптимизации на множестве «зашумленных» исходных данных NeRF научился создавать сцену, превосходящую по качеству отдельные и многочисленные исходные изображения. Кроме того, команда утверждает, что RawNeRF может восстанавливать чрезвычайно шумные сцены, снятые почти в полной темноте.

В то время как стандартный NeRF использует изображения с низким динамическим диапазоном, снятые в цветовом пространстве sRGB, новая версия RawNeRF использует линейные исходные данные в цветовом пространстве высокого динамического диапазона (HDR). Реконструкция NeRF в необработанном пространстве даёт лучшие результаты и позволяет синтезировать новые виды HDR.

Исследование показало, что RawNeRF «удивительно устойчив к высоким уровням шума, настолько, что он может выступать в качестве конкурентоспособного ПО для снижения шума для нескольких изображений».

Кроме того, команда продемонстрировала возможности создания из статичной картинки более объёмного изображения с возможностью изменения фокуса уже после создания изображения.

Результаты, показанные в видео выше чрезвычайно впечатляющие. Использование линейных исходных данных HDR открывает множество новых возможностей для вычислительной фотографии, включая постобработку, например, изменение фокуса и экспозиции после того, как было сделано фото, а также для создания нового вида HDR.

Читайте также