Визуализация с высоким динамическим диапазоном - High-dynamic-range imaging

Тональное изображение с высоким динамическим диапазоном (HDR) церкви Св. Кентигерна в Блэкпуле , Ланкашир, Англия

В фотографии и видеографии , HDR или изображениях с высоким динамическим диапазоном является множество методов , используемых для воспроизведения большего диапазона яркости , чем то , что возможно с помощью стандартной фотографической техники. Стандартные методы позволяют различать только в определенном диапазоне яркости. За пределами этого диапазона никаких функций не видно, потому что в более светлых областях все выглядит чисто белым, а в более темных - чисто черным. Отношение между максимумом и минимумом тонального значения в изображении называется динамическим диапазоном . HDR полезен для записи многих реальных сцен, содержащих очень яркие, прямые солнечные лучи или очень темные или очень слабые туманности . Изображения с расширенным динамическим диапазоном (HDR) часто создаются путем захвата и последующего комбинирования нескольких различных экспозиций одного и того же объекта с более узким диапазоном .

Два основных типа изображений HDR - это компьютерная визуализация и изображения, полученные в результате объединения нескольких фотографий с низким динамическим диапазоном (LDR) или стандартным динамическим диапазоном (SDR). Изображения HDR также могут быть получены с помощью специальных датчиков изображения , таких как датчик двоичного изображения с избыточной дискретизацией . Из-за ограничений печати и контрастности дисплея расширенный диапазон яркости входных HDR-изображений должен быть сжат, чтобы сделать их видимыми. Метод рендеринга HDR-изображения на стандартный монитор или печатающее устройство называется тональным отображением . Этот метод снижает общую контрастность HDR-изображения для облегчения отображения на устройствах или распечаток с более низким динамическим диапазоном и может применяться для создания изображений с сохраненным локальным контрастом (или увеличенным для художественного эффекта).

«HDR» может относиться к общему процессу, к процессу формирования изображения HDR или к формированию изображения HDR, представленному на дисплее с низким динамическим диапазоном, таком как экран или стандартное изображение .jpg.

Эмуляция системы зрения человека

Одна из целей HDR - предоставить диапазон яркости, подобный тому, который ощущается через зрительную систему человека . Человеческий глаз, через нелинейный ответ, адаптации из радужной оболочки глаза , а также другими методами, адаптируя постоянно в широком диапазоне яркости , присутствующих в окружающей среде. Мозг непрерывно интерпретирует эту информацию, чтобы зритель мог видеть в широком диапазоне условий освещения.

Стандартные фотографические методы и методы обработки изображений позволяют различать только в определенном диапазоне яркости. За пределами этого диапазона никаких функций не видно, потому что нет дифференциации в светлых областях, поскольку все выглядит чисто белым, и нет дифференциации в более темных областях, поскольку все выглядит чисто черным. Камеры без HDR делают фотографии с ограниченным диапазоном экспозиции, называемым низким динамическим диапазоном (LDR), что приводит к потере деталей в светлых или темных участках .

Фотография

В фотографии динамический диапазон измеряется разницей значений экспозиции (EV), известной как стопы . Увеличение на один EV или одну остановку означает удвоение количества света. И наоборот, уменьшение на один EV означает уменьшение вдвое количества света. Поэтому для выявления деталей в самых темных тенях требуется высокая экспозиция , а для сохранения деталей в очень ярких ситуациях требуется очень низкая экспозиция. Большинство камер не могут обеспечить этот диапазон значений экспозиции за одну экспозицию из-за их низкого динамического диапазона. Фотографии с высоким динамическим диапазоном обычно достигаются путем захвата нескольких изображений со стандартной экспозицией, часто с использованием брекетинга экспозиции , а затем их последующего объединения в одно изображение HDR, обычно в программе обработки фотографий .

Любая камера, которая допускает ручное управление экспозицией, может делать изображения для работы с HDR, хотя камера с автоматическим брекетингом экспозиции (AEB) подходит гораздо лучше. Изображения с пленочных фотоаппаратов менее подходят, поскольку их часто необходимо сначала оцифровать, чтобы впоследствии их можно было обработать с помощью программных методов HDR.

В большинстве устройств формирования изображений степень воздействия света на активный элемент (будь то пленка или ПЗС-матрица ) можно изменить одним из двух способов: либо увеличивая / уменьшая размер апертуры, либо увеличивая / уменьшая время каждую экспозицию. Изменение экспозиции в наборе HDR осуществляется только изменением времени экспозиции, а не размера диафрагмы; это связано с тем, что изменение размера диафрагмы также влияет на глубину резкости, и поэтому результирующие несколько изображений будут совершенно разными, что не позволит их окончательному объединению в одно изображение HDR.

Важным ограничением для HDR-фотографии является то, что любое перемещение между последовательными изображениями будет препятствовать или мешать успешному объединению их впоследствии. Кроме того, поскольку для получения желаемого диапазона яркости необходимо создать несколько изображений (часто три или пять, а иногда и больше) , такой полный набор изображений требует дополнительного времени. Фотографы HDR разработали методы и методы расчета, чтобы частично решить эти проблемы, но, по крайней мере, рекомендуется использовать прочный штатив.

Некоторые камеры имеют функцию брекетинга автоэкспозиции (AEB) с гораздо большим динамическим диапазоном, чем другие, от 0,6 на нижнем уровне до 18 EV в лучших профессиональных камерах по состоянию на 2020 год. По мере роста популярности этого метода визуализации несколько камер производители теперь предлагают встроенные функции HDR. Например, цифровая зеркальная камера Pentax K-7 имеет режим HDR, который захватывает изображение HDR и выводит (только) файл JPEG с тональной отображением. Canon PowerShot G12 , Canon PowerShot S95 и Canon PowerShot S100 предлагают аналогичные функции в меньшем формате. Подход Nikon называется «Активный D-Lighting», который применяет компенсацию экспозиции и отображение тонов к изображению, исходящему от датчика, с упором на создание реалистичного эффекта. Некоторые смартфоны поддерживают режимы HDR, а на большинстве мобильных платформ есть приложения, обеспечивающие съемку HDR-изображений.

Характеристики камеры, такие как гамма-кривые , разрешение сенсора, шум, фотометрическая калибровка и калибровка цвета, влияют на получаемые изображения с высоким динамическим диапазоном.

Цветные пленочные негативы и слайды состоят из нескольких слоев пленки, которые по-разному реагируют на свет. Оригинальная пленка (особенно негативы по сравнению с прозрачными пленками или слайдами) имеет очень высокий динамический диапазон (порядка 8 для негативов и от 4 до 4,5 для слайдов).

Отображение тонов

Отображение тонов уменьшает динамический диапазон или коэффициент контрастности всего изображения, сохраняя при этом локализованный контраст. Хотя это отдельная операция, тональное отображение часто применяется к файлам HDRI одним и тем же программным пакетом.

На платформах ПК, Mac и Linux доступно несколько программных приложений для создания файлов HDR и изображений с отображением тонов. Известные названия включают:

Сравнение с традиционными цифровыми изображениями

Информация, хранящаяся в изображениях с высоким динамическим диапазоном, обычно соответствует физическим значениям яркости или яркости, которые можно наблюдать в реальном мире. Это отличается от традиционных цифровых изображений , которые представляют цвета так, как они должны отображаться на мониторе, или на бумажном отпечатке. Поэтому форматы изображений HDR часто называют привязанными к сцене , в отличие от традиционных цифровых изображений, которые относятся к устройствам или выходам . Кроме того, традиционные изображения обычно кодируются для зрительной системы человека (максимизация визуальной информации, хранящейся в фиксированном количестве бит), что обычно называется гамма-кодированием или гамма-коррекцией . Значения, хранящиеся для изображений HDR, часто подвергаются гамма-сжатию ( степенной закон ) или логарифмической кодировке, либо линейным значениям с плавающей запятой , поскольку линейное кодирование с фиксированной запятой становится все более неэффективным в более высоких динамических диапазонах.

В изображениях HDR часто не используются фиксированные диапазоны для каждого цветового канала - кроме традиционных изображений - для представления гораздо большего количества цветов в гораздо более широком динамическом диапазоне (несколько каналов). Для этой цели они не используют целочисленные значения для представления одноцветных каналов (например, 0–255 в интервале 8 бит на пиксель для красного, зеленого и синего), а вместо этого используют представление с плавающей запятой. Обычно для представления пикселей HDR используются 16-битные ( половинная точность ) или 32-битные числа с плавающей запятой . Однако при использовании соответствующей передаточной функции пиксели HDR для некоторых приложений могут быть представлены с глубиной цвета, которая имеет всего 10–12 бит для яркости и 8 бит для цветности, без каких-либо видимых артефактов квантования.

Видеосъемка

Технику захвата HDR также можно использовать для видео путем захвата нескольких изображений для каждого кадра видео и их объединения. Qualcomm называет это термином «Вычислительный захват видео HDR». В 2020 году Qualcomm анонсировала Snapdragon 888, который может выполнять вычислительный захват HDR-видео в 4K и в формате HDR . Xiaomi Mi 11 Ultra также может выполнять вычислительный HDR для захвата видео.

История HDR-фотографии

Середина 19 века

Фотография Гюстава Ле Грея 1856 года.

Идея использования нескольких экспозиций для адекватного воспроизведения слишком экстремального диапазона яркости была впервые предложена еще в 1850-х годах Гюставом Ле Греем для визуализации морских пейзажей, показывающих как небо, так и море. В то время такой рендеринг с использованием стандартных методов был невозможен, так как диапазон яркости был слишком большим. Ле Грей использовал один негатив для неба и другой с более длинной выдержкой для моря, и объединил эти два изображения в один позитив.

Середина 20 века

Внешний образ
Швейцер у лампы , У. Юджин Смит

Ручное отображение тонов достигалось путем осветления и затемнения  - выборочного увеличения или уменьшения экспозиции областей фотографии для лучшего воспроизведения тональности. Это было эффективно, потому что динамический диапазон негатива значительно выше, чем был бы доступен на готовом позитивном бумажном отпечатке, когда он экспонируется через негатив равномерно. Прекрасным примером является фотография « Швейцер у лампы » Юджина Смита из его фоторепортажа 1954 года «Человек милосердия» об Альберте Швейцере и его гуманитарной деятельности во Французской Экваториальной Африке. Изображение заняло пять дней, чтобы воспроизвести тональный диапазон сцены, который варьируется от яркой лампы (относительно сцены) до темной тени.

Ансель Адамс возвысил уклонение и сжигание до уровня искусства. Многие из его знаменитых отпечатков были обработаны в фотолаборатории с помощью этих двух методов. Адамс написал исчерпывающую книгу о создании гравюр под названием «Печать» , в которой заметно выделяются светоотражение и выжигание в контексте его системы зон .

С появлением цветной фотографии отображение тонов в темной комнате стало невозможным из-за определенного времени, необходимого в процессе проявления цветной пленки. Фотографы обращались к производителям пленки с просьбой разработать новые запасы пленки с улучшенным откликом или продолжали снимать в черно-белом режиме, используя методы тонального картографирования.

Характеристики экспозиции / плотности пленки Wyckoff с расширенной экспозицией

Цветная пленка, способная непосредственно записывать изображения с высоким динамическим диапазоном, была разработана Чарльзом Вайкоффом и EG&G «в ходе контракта с Министерством ВВС США ». Эта пленка XR имела три эмульсионных слоя: верхний слой с рейтингом скорости ASA 400, средний слой с промежуточным рейтингом и нижний слой с рейтингом ASA 0,004. Пленка обрабатывалась так же, как и цветные пленки , и каждый слой имел свой цвет. Динамический диапазон этой пленки с расширенным диапазоном был оценен как 1:10 ⁸ . Он использовался для фотографирования ядерных взрывов, для астрономической фотографии, для спектрографических исследований и для получения медицинских изображений. Подробные фотографии ядерных взрывов Вайкоффа появились на обложке журнала Life в середине 1950-х годов.

Конец 20 века

Жорж Корнежоль и лицензиаты его патентов (Brdi, Hymatom) представили принцип видеоизображения HDR в 1986 году, установив матричный ЖК-экран перед датчиком изображения камеры, увеличив динамику датчиков на пять ступеней.

Концепция тонального отображения окрестностей была применена к видеокамерам в 1988 году группой из Техниона в Израиле, возглавляемой Оливером Хилсенратом и Иегошуа Ю. Зеэви. Исследователи Техниона подали заявку на патент на эту концепцию в 1991 году и на несколько связанных патентов в 1992 и 1993 годах.

В феврале и апреле 1990 года Жорж Корнежоль представил первую камеру HDR в реальном времени, которая объединяла два изображения, снятые датчиком или одновременно двумя датчиками камеры. Этот процесс известен как брекетинг, используемый для видеопотока.

В 1991 году была представлена ​​первая коммерческая видеокамера, которая выполняла захват нескольких изображений с разной экспозицией в реальном времени и создавала видеоизображение HDR компанией Hymatom, лицензиатом Жоржа Корнежоля.

Также в 1991 году Жорж Корнежоль представил принцип изображения HDR + путем нелинейного накопления изображений для увеличения чувствительности камеры: в условиях низкой освещенности накапливаются несколько последовательных изображений, что увеличивает отношение сигнал / шум.

В 1993 году Технион выпустил еще одну коммерческую медицинскую камеру, производящую видеоизображение в формате HDR.

Современная визуализация HDR использует совершенно другой подход, основанный на создании карты яркости или освещенности с широким динамическим диапазоном с использованием только глобальных операций с изображением (по всему изображению) и последующего тонального сопоставления результата. Глобальный HDR был впервые представлен в 1993 году, в результате чего математическая теория разно экспонированных изображений одного и того же объекта была опубликована в 1995 году Стивом Манном и Розалиндой Пикард .

28 октября 1998 года Бен Sarao создал один из первых ночных HDR + G (High Dynamic Range + Графический образ) STS-95 на стартовую площадку НАСА «s Космический центр Кеннеди . Он состоял из четырех пленочных изображений космического шаттла в ночное время, которые были скомпонованы в цифровом виде с дополнительными цифровыми графическими элементами. Изображение было впервые выставлено в Большом зале штаб-квартиры НАСА , Вашингтон, округ Колумбия, в 1999 году, а затем опубликовано на форуме Hasselblad .

Появление потребительских цифровых фотоаппаратов породило новый спрос на HDR-изображения для улучшения светового отклика сенсоров цифровых фотоаппаратов, у которых был гораздо меньший динамический диапазон, чем у пленки. Стив Манн разработал и запатентовал метод global-HDR для создания цифровых изображений с расширенным динамическим диапазоном в MIT Media Lab . Метод Манна включал двухэтапную процедуру: во-первых, сгенерируйте один массив изображений с плавающей запятой с помощью глобальных операций с изображениями (операций, которые влияют на все пиксели одинаково, без учета их локальных окрестностей). Во-вторых, преобразуйте этот массив изображений, используя локальную обработку окрестности (переназначение тона и т. Д.), В изображение HDR. Массив изображения , сформированный на первом этапе процесса Манны называется lightspace изображения , lightspace изображения или карта сияния . Еще одно преимущество глобального HDR-изображения заключается в том, что оно обеспечивает доступ к промежуточной карте освещенности или яркости, которая использовалась для компьютерного зрения и других операций обработки изображений .

21-го века

В феврале 2001 года была продемонстрирована техника Dynamic Ranger с использованием нескольких фотографий с разными уровнями экспозиции для достижения высокого динамического диапазона, подобного невооруженному глазу.

В 2005 году Adobe Systems представила несколько новых функций в Photoshop CS2, включая объединение в HDR , поддержку 32-битных изображений с плавающей запятой и отображение тонов HDR.

30 июня 2016 года Microsoft добавила поддержку цифрового композитинга HDR-изображений в Windows 10 с помощью универсальной платформы Windows .

Примеры

Обработка HDR

Это пример четырех изображений со стандартным динамическим диапазоном, которые объединяются для получения трех результирующих изображений с отображением тонов :

Экспонированные изображения

• 

  –4 ступени

• 

  –2 остановки

• 

  +2 остановки

• 

  +4 остановки

Результаты после обработки

• 

  Простое уменьшение контрастности

• 

  Локальное отображение тонов

• 

  Естественное отображение тонов

Это пример сцены с очень широким динамическим диапазоном:

Экспонированные изображения

• 

  –6 остановок

• 

  –5 остановок

• 

  –4 ступени

• 

  –3 остановки

• 

  –2 остановки

• 

  –1 остановка

• 

  00 остановок

• 

  +1 остановка

• 

  +2 остановки

• 

  +3 остановки

• 

  +4 остановки

• 

  +5 остановок

Результаты после обработки

• 

  Естественное отображение тонов

Аномалии множественных экспозиций

Это изображение, снятое на смартфон, было улучшено с помощью HDR, демонстрируя как затененную траву, так и яркое небо, но быстро движущийся удар в гольф привел к «призрачной» клюшке.

Быстро движущийся объект (или неустойчивая камера) приведет к эффекту "призрака" или эффекту ступенчатого размытия, поскольку объединенные изображения не идентичны, но каждое захватывает движущийся объект в разный момент времени. с изменением его положения. Внезапные изменения условий освещения (стробированный светодиодный свет) также могут помешать достижению желаемых результатов, создавая один или несколько слоев HDR, которые имеют яркость, ожидаемую автоматизированной системой HDR, хотя можно по-прежнему создавать разумное изображение HDR. вручную в программном обеспечении, переставив слои изображения для объединения в порядке их фактической яркости.

Датчики HDR

Современные датчики изображения CMOS часто могут захватывать широкий динамический диапазон за одну экспозицию. Широкий динамический диапазон захваченного изображения нелинейно сжимается в электронное представление с меньшим динамическим диапазоном. Однако при правильной обработке информацию от однократной экспозиции можно использовать для создания HDR-изображения.

Такое изображение HDR используется в приложениях с экстремальным динамическим диапазоном, таких как сварка или автомобильные работы. В камерах видеонаблюдения вместо HDR используется термин «широкий динамический диапазон». Из-за нелинейности некоторых датчиков на изображении могут возникать артефакты. Некоторые другие камеры, предназначенные для использования в приложениях безопасности, могут автоматически предоставлять два или более изображения для каждого кадра с изменением экспозиции. Например, датчик для видео со скоростью 30 кадров в секунду выдаст 60 кадров в секунду с нечетными кадрами при коротком времени экспозиции и четными кадрами при более длительном времени экспозиции. Некоторые датчики на современных телефонах и камерах могут даже комбинировать два изображения на кристалле, так что более широкий динамический диапазон без сжатия в пикселях напрямую доступен пользователю для отображения или обработки.

Смотрите также

• Сравнение форматов графических файлов
• HDRi (формат данных)
• Рендеринг с высоким динамическим диапазоном
• Видео с высоким динамическим диапазоном
• JPEG XT
• Логлув TIFF
• OpenEXR
• Формат изображения RGBE
• цветовое пространство scRGB
• Телевидение сверхвысокой четкости
• Широкий динамический диапазон

использованная литература

внешние ссылки

• СМИ, связанные с визуализацией в высоком динамическом диапазоне, на Викискладе?