NVIDIA научила нейросеть убирать лишний шум и надписи с фотографий

Группа специалистов из компании NVIDIA, Массачусетского технологитческого института, а также университета Аалто представили нейронную сеть, способную редактировать изображения и убирать с них лишний шум, а также различные надписи. О проделанной работе специалисты NVIDIA поделились в своем официальном блоге, но при этом исходный код алгоритма не стали выкладывать в открытый доступ.

Для создания нейросети специалисты использовали метод машинного обучения. На базе 50 различных испорченных фотографий, алгоритм научился убирать с изображений шумы, вызванные слабым освещением, цветовые шумы на старых снимках, а также избавляться от надписей, подписей и, возможно, даже копирайта, имеющегося на изображениях. Разработчики отмечают, что нейросети для эффективной работы не нужно видеть ту же самую, но чистую фотографию — достаточно лишь показать некачественные снимки.

Если показанный в апреле алгоритм NVIDIA демонстрировал возможность восстановления на чистых фотографиях с изображением лиц недостающих деталей, а также способность убирать с них лишние детали, то текущий алгоритм способен проводить всю работу на базе «поврежденных данных».

«Можно научить нейросеть восстанавливать части фотографии, чтобы алгоритм даже не видел ее исходное значение. При это не страдает производительность компьютера, как и не увеличивается время для обработки», — говорят разработчики.

Разработчики отмечают, что метод можно использовать не только при обработках художественных фотографий, но и для удаления шумов из снимков МРТ, других медицинских изображений, а также, при получении фотографий с всегда низким уровнем освещенности, например, при выполнении астрономических наблюдений.