Быстрые денойзеры на видеокартах NVIDIA

Шумоподавление изображений и видео широко используется во многих приложениях для камер, особенно для задач с низкой освещенностью. Мы разработали несколько реализаций быстрых алгоритмов шумоподавления, которые работают на существующем оборудовании от NVIDIA в Windows/Linux/ARM. Мы получили очень высокую производительность для обработки изображений и видео.

Возможности GPU Denoiser

• Форматы входных данных: 8/10/12/14/16-бит на канал, данные в памяти CPU или GPU
• Выходные форматы: 24/48-бит, данные в памяти CPU или GPU
• Обработка данных с точностью 16/32-бит
• Алгоритмы шумоподавления
  • На базе вейвлетов (raw или rgb) CDF 5/3 и CDF 9/7 с порогом Hard, Soft, Garrote
  • Билатеральный
  • NLM (нелокальное среднее)
• Совместимость с программным обеспечением FastVCR для камер машинного зрения
• Измерения времени и производительности
• Совместимость с Windows-10/11, Linux Ubuntu и L4T (Jetson)

Бенчмарки для шумодавов на GPU

Параметры тестового изображения: 4112×2176 (8.9 МПикс), 16 бит на канал, RGB

Параметры теста: все данные находятся в памяти GPU, в измерения времени входит только вычисления на GPU

Вейвлет: CDF 9/7
Количество DWT разложений: до 7
Пороги DWT для YCbCr: 80;150;150

Параметры NLM шумодава: окна 3×3 и 3×3, сила 500
Параметры билатерального шумодава: diameter 3, sigmaColor 5, sigmaSpace 500

Софт: OS Windows-10/11, CUDA-12.6
Железо: NVIDIA GeForce RTX 4090

• RAW DWT denoiser – 1.8 мс (4,9 ГПикс/сек)
• RGB DWT denoiser – 3.05 мс (2,9 ГПикс/сек)
• NLM denoiser (RGB) - 0.19 мс (40 ГПикс/сек)
• NLM denoiser (YCbCr, 4:2:0) - 0.20 мс (40 ГПикс/сек)
• NLM denoiser (YCbCr, 4:4:4) - 0.37 мс (21 ГПикс/сек)
• Bilateral denoiser (RGB) - 0.13 мс (61 ГПикс/сек)

Эти результаты показывают очень высокую производительность и они сравнимы с временем работы нашего самого лучшего дебайера MG, который обрабатывает этот же кадр за 0.6 мс (13 ГПикс/сек) для того же самого изображения в формате RAW на видеокарте GeForce RTX 4090.

Эти шумодавы являются частью GPU Image & Video Processing SDK. Теперь наши заказчики имеют возможность использовать эти быстрые денойзеры на видеокартах NVIDIA в своих приложениях.

Тестирование

Для тестирования этого денойзера нужно перейти на страницу FastVCR и оттуда загрузить софт, который может работать не только с камерами, но и с RAW изображениями с SSD. Все вышеперечисленные шумодавы там есть и можно их сравнить визуально.