Локальная ретушь фотографий при помощи ИИ

Ретушь изображений и в частности фотопортретов находит множество применений в фотографировании  —  от создания свадебных и рекламных до личных снимков. Значительные усилия по ретушированию фотографий дают потрясающие результаты, однако в основном изменяют такие общие аспекты изображения, как цвет, освещение и экспозиция. Наиболее трудоемкой и затратной частью является работа с локальными областями изображений.

Что такое фоторетушь?

Термин “фоторетушь” означает внесение изменений в фотографию перед ее показом. Как правило, ретушер вносит локальные изменения в изображение. Ретушь  —  это последний шаг в совершенствовании фотографии после внесения глобальных изменений (например, цветокоррекции).

Контекстно-ориентированная локальная ретушь

Новая адаптивная сеть пирамид наложения (adaptive blend pyramid network, ABPN) нацелена на быстрое выполнение ретуши на отдельных участках фотографий сверхвысокого разрешения. Контекстно-ориентированный слой локальной ретуши (LRL) и адаптивный слой пирамид наложения (BPL)  —  основные части сети, последовательно решающие две задачи.

• Сначала LRL выполняет ретушь на отдельных участках изображений с низким разрешением, учитывая общий контекст и информацию о локальной текстуре.


• Затем BPL используется для расширения результатов низкого разрешения до более высокого с помощью предложенного адаптивного модуля наложения и модуля оптимизации.

В решении этих задач локального фоторедактирования технология ABPN превосходит все существующие методы с большим отрывом. Она также опережает их по скорости работы: ABPN выполняет вывод изображений 4K в реальном времени, используя всего один графический процессор NVIDIA Tesla P100. Кроме того, был создан первый HD-датасет по выполнению ретуши ткани, CRHD-3K, который поможет исследовать локальное фоторетуширование.

Ретушь фотографий в мгновение ока

Новый фреймворк под названием ABPN предназначен для локальной ретуши фотографий сверхвысокого разрешения. Он отличается значительной эффективностью (выводит в реальном времени изображения 4K с использованием одного GPU NVIDIA Tesla P100) и выполняет ретушь качественнее, чем уже используемые методы.

Локальный модуль (attentive local module, LAM) хорошо улавливает общий контекст и локальную текстуру, гармонично соединяя их в одном изображении.

Адаптивный модуль наложения (adaptive blend module, ABM) заключает в себе большой потенциал для развития фреймворка и позволяет быстро переходить от результатов с низким разрешением к результатам с высоким разрешением.

CRHD-3K  —  первый HD-датасет для ретуширования ткани.

Здесь представлено визуальное сравнение различных способов наложения на CRHD-3K, в том числе:

• (b) прямая RGB-оптимизация;


• (с) добавление;


• (d) мягкий свет;


• (e) адаптивное наложение с помощью сверток;


• (f) новый метод.

Чтобы упростить просмотр, все значения слоя наложения установлены в диапазоне 0 ~ 255.