Деинтерлейсинг - Deinterlacing

Деинтерлейсинг - это процесс преобразования чересстрочного видео в построчный или прогрессивный формат. Чересстрочные видеосигналы обычно встречаются в аналоговом телевидении , цифровом телевидении ( HDTV ) в формате 1080i , некоторых заголовках DVD и меньшем количестве дисков Blu-ray .

Видео с чересстрочной разверткой кадр состоит из двух полей , взятых в следующей последовательности: первый , содержащий все нечетные строки изображения, а второй все четные строки. В аналоговом телевидении использовался этот метод, поскольку он позволял уменьшить полосу пропускания при сохранении высокой частоты кадров для более плавного и более реалистичного движения. Сигнал с построчной разверткой (или прогрессивной разверткой ), использующий ту же полосу пропускания, обновляет дисплей только вдвое реже, и было обнаружено, что он создает воспринимаемое мерцание или заикание. ЭЛТ-дисплеи могли правильно отображать чересстрочное видео благодаря своей полностью аналоговой природе, плавно переходя в чередующиеся строки. Однако с начала 2000-х годов дисплеи, такие как телевизоры и компьютерные мониторы, стали почти полностью цифровыми - в том смысле, что дисплей состоит из дискретных пикселей - и на таких дисплеях чересстрочная развертка становится заметной и может проявляться как отвлекающий визуальный дефект. Процесс деинтерлейсинга должен стараться минимизировать их.

Таким образом, деинтерлейсинг является необходимым процессом и встроен в большинство современных DVD-плееров, проигрывателей Blu-ray, ЖК / светодиодных телевизоров, цифровых проекторов, телевизионных приставок, профессионального вещательного оборудования, а также компьютерных видеоплееров и редакторов, хотя каждый из них имеет различные уровни качества.

Деинтерлейсинг исследовался десятилетиями и использует сложные алгоритмы обработки; однако добиться стабильных результатов было очень трудно.

Фон

Пример чересстрочного видео (замедленного)

И видео, и фотопленка захватывают серию кадров (неподвижных изображений) в быстрой последовательности; однако телевизионные системы считывают захваченное изображение путем последовательного сканирования датчика изображения по строкам (строкам). В аналоговом телевидении каждый кадр делится на два последовательных поля , одно из которых содержит все четные строки, а другое - нечетные. Поля захватываются последовательно с частотой, вдвое превышающей номинальную частоту кадров. Например, системы PAL и SECAM имеют скорость 25 кадров / сек или 50 полей / сек, в то время как система NTSC обеспечивает скорость 29,97 кадров / сек или 59,94 поля / сек. Этот процесс разделения кадров на поля половинного разрешения с удвоенной частотой кадров известен как чересстрочная развертка .

Поскольку чересстрочный сигнал содержит два поля видеокадра, снятых в два разных момента, он улучшает восприятие движения для зрителя и уменьшает мерцание , используя преимущество эффекта постоянства зрения . Это приводит к эффективному удвоению разрешения по времени по сравнению с видеорядом без чересстрочной развертки (для частоты кадров, равной частоте полей). Однако для чересстрочного сигнала требуется дисплей, который изначально способен отображать отдельные поля в последовательном порядке, и только традиционные телевизоры на основе ЭЛТ способны отображать чересстрочный сигнал из-за электронного сканирования и отсутствия очевидного фиксированного разрешения.

Большинство современных дисплеев, таких как ЖК , DLP и плазменных дисплеев , не в состоянии работать в режиме чересстрочной развертки, так как они отображаются с фиксированным разрешением и только поддерживает прогрессивную развертку. Чтобы отобразить чересстрочный сигнал на таких дисплеях, два поля с чересстрочной разверткой должны быть преобразованы в один прогрессивный кадр с помощью процесса, известного как деинтерлейсинг . Однако, когда два поля, снятые в разные моменты времени, повторно объединяются в полный кадр, отображаемый одновременно, возникают визуальные дефекты, называемые артефактами чересстрочной развертки или расчесыванием движущихся объектов на изображении. Хороший алгоритм деинтерлейсинга должен стараться избегать артефактов чересстрочной развертки, насколько это возможно, и не жертвовать качеством изображения в процессе, чего трудно добиться последовательно. Существует несколько доступных методов экстраполяции недостающей информации об изображении, однако они скорее относятся к категории интеллектуального создания кадров и требуют сложных алгоритмов и значительной вычислительной мощности.

Методы деинтерлейсинга требуют сложной обработки и, следовательно, могут вносить задержку в видеопоток. Хотя это обычно не заметно, это может привести к тому, что отображение старых видеоигр будет отставать от ввода контроллера. Таким образом, многие телевизоры имеют «игровой режим», в котором выполняется минимальная обработка, чтобы максимизировать скорость за счет качества изображения. Деинтерлейсинг лишь частично отвечает за такое отставание; масштабирование также включает сложные алгоритмы, выполнение которых занимает миллисекунды.

Прогрессивный исходный материал

Некоторое видео с чересстрочной разверткой могло быть изначально создано из материала с прогрессивной разверткой, и процесс деинтерлейсинга также должен учитывать это.

Типичный киноматериал снимается на пленке со скоростью 24 кадра в секунду. Преобразование пленки в видео с чересстрочной разверткой обычно использует процесс, называемый телесином, при котором каждый кадр преобразуется в несколько полей. В некоторых случаях каждый кадр фильма может быть представлен точно двумя прогрессивными сегментированными кадрами (PsF), и в этом формате не требуется сложный алгоритм деинтерлейсинга, поскольку каждое поле содержит часть одного и того же прогрессивного кадра. Однако, чтобы согласовать сигнал PAL / SECAM с чересстрочной разверткой с 50 полями или NTSC с чересстрочной разверткой 59,94 / 60 полей, необходимо преобразование частоты кадров с использованием различных методов «вытягивания вниз». Большинство современных телевизоров могут восстанавливать исходный сигнал 24 кадра / с с помощью процесса обратного телесина . Другой вариант - увеличить скорость 24-кадровой пленки на 4% (до 25 кадров / с) для преобразования PAL / SECAM; этот метод до сих пор широко используется для DVD, а также для телевизионных передач (SD и HD) на рынках PAL.

DVD-диски могут либо кодировать фильмы, используя один из этих методов, либо сохранять исходное видео с прогрессивной разверткой 24 кадра / с и использовать теги декодера MPEG-2, чтобы указать проигрывателю, как преобразовать их в чересстрочный формат. Большинство фильмов на Blu-ray сохранили исходную скорость движущегося фильма без чересстрочной развертки 24 кадра / с и позволяют выводить в прогрессивном формате 1080p24 непосредственно на устройства отображения без необходимости преобразования.

Некоторые видеокамеры 1080i HDV также предлагают режим PsF с кинематографической частотой кадров 24 или 25 кадров / с. Съемочные группы телевидения также могут использовать специальные пленочные камеры, которые работают со скоростью 25 или 30 кадров / с, когда такой материал не требует преобразования частоты кадров для трансляции в предполагаемом формате видеосистемы.

Методы деинтерлейса

Когда кто-то смотрит видео с чересстрочной разверткой на мониторе с прогрессивной разверткой и плохим деинтерлейсингом, он может увидеть «расчесывание» движения между двумя полями одного кадра.

Деинтерлейсинг требует, чтобы дисплей буферизовал одно или несколько полей и повторно объединял их в полные кадры. Теоретически это было бы так же просто, как захват одного поля и объединение его со следующим полем для получения, создавая единственный кадр. Однако первоначально записанный сигнал был получен из двух полей в разные моменты времени, и без специальной обработки любое движение по полям обычно приводит к эффекту «гребешка», когда чередующиеся линии слегка смещены друг от друга.

Существуют различные методы деинтерлейсинга видео, каждый из которых создает свои собственные проблемы или артефакты . Некоторые методы содержат гораздо более чистые артефакты, чем другие.

Большинство техник деинтерлейсинга можно разделить на три большие группы:

  1. Комбинированный деинтерлейсинг полей, который берет четные и нечетные поля и объединяет их в один кадр. Это вдвое снижает воспринимаемую частоту кадров (временное разрешение), в результате чего 50i или 60i преобразуются в 25p или 30p.
  2. Деинтерлейсинг расширения поля, который берет каждое поле (только с половиной строк) и расширяет его на весь экран, чтобы создать фрейм. Это уменьшает вдвое вертикальное разрешение изображения, но сохраняет исходную частоту поля (50i или 60i преобразуются в 50p или 60p).
  3. Деинтерлейсинг с компенсацией движения, который использует более продвинутые алгоритмы для обнаружения движения по полям, при необходимости переключая методы. Это дает результат наилучшего качества, но требует максимальной вычислительной мощности.

Поэтому современные системы деинтерлейсинга буферизуют несколько полей и используют такие методы, как обнаружение краев, в попытке найти движение между полями. Затем это используется для интерполяции недостающих строк исходного поля, уменьшая эффект расчесывания.

Комбинированный деинтерлейсинг полей

Эти методы берут четные и нечетные поля и объединяют их в один кадр. Они сохраняют полное вертикальное разрешение за счет временного разрешения (воспринимаемой частоты кадров), в результате чего 50i / 60i преобразуются в 24p / 25p / 30p, что может потерять плавность и плавность оригинала. Однако, если чересстрочный сигнал был первоначально создан из источника с более низкой частотой кадров, такого как пленка, то информация не теряется, и этих методов может быть достаточно.

Ткачество
  • Плетение - это самый простой и элементарный метод, выполняемый путем чередования ("переплетения") последовательных полей в один кадр. Этот метод не вызывает никаких проблем, если изображение не менялось между полями, но любое движение приведет к артефактам, известным как «расчесывание», когда пиксели в одном поле не совпадают с пикселями в другом, образуя неровный край.
Смешивание
  • Смешивание выполняется путем смешивания или усреднения последовательных полей для отображения в виде одного кадра. Расчесывания избегают, потому что изображения накладываются друг на друга. Вместо этого остается артефакт, известный как ореол. Изображение теряет как вертикальное, так и временное разрешение. Хотя для видео, созданного с помощью этого метода, требуется только половина пикселей по вертикали, его часто комбинируют с изменением размера по вертикали, чтобы на выходе не было числовых потерь в вертикальных пикселях. Когда используется интерполяция, это может привести к еще более мягкому изображению. Смешивание также теряет половину временного разрешения, поскольку два поля движения объединяются в один кадр.
  • Выборочное смешивание , или интеллектуальное смешивание, или смешивание с адаптацией к движению , представляет собой комбинацию переплетения и смешивания. Поскольку области, которые не менялись от кадра к кадру, не нуждаются в какой-либо обработке, кадры ткутся, и смешиваются только те области, которые в этом нуждаются. Это сохраняет полное вертикальное разрешение и половину временного разрешения и имеет меньше артефактов, чем плетение или смешивание, из-за выборочной комбинации обоих методов.
  • Обратный телесин : Телесин используется для преобразования источника движущегося изображения со скоростью 24 кадра в секунду в чересстрочное телевизионное видео в странах, где используется видеосистема NTSC со скоростью 30 кадров в секунду. Страны, которые используют PAL со скоростью 25 кадров в секунду, не требуют Telecine - источники движущихся изображений просто ускоряются на 4% для достижения необходимых 25 кадров в секунду. Если использовался Telecine, то можно изменить алгоритм, чтобы получить исходный видеоматериал без чересстрочной развертки, который имеет более низкую частоту кадров. Чтобы это сработало, необходимо знать или угадывать точный образец телесина. В отличие от большинства других методов деинтерлейсинга, когда он работает, обратный телесин может прекрасно восстановить исходный прогрессивный видеопоток.
  • Алгоритмы в стиле Telecide: если видеоряд с чересстрочной разверткой был сгенерирован из прогрессивных кадров с более низкой частотой кадров (например, «выпадающий мультфильм»), то точные исходные кадры могут быть восстановлены путем копирования отсутствующего поля из соответствующего предыдущего / следующего кадра. В случаях, когда совпадений нет (например, короткие последовательности мультфильмов с повышенной частотой кадров), фильтр использует другой метод деинтерлейсинга, такой как смешивание или удвоение строк. Это означает, что худший случай для Telecide - это случайные кадры с ореолом или пониженным разрешением. Напротив, когда более сложные алгоритмы обнаружения движения не работают, они могут создавать пиксельные артефакты, которые не соответствуют исходному материалу. Для видео телесина прореживание может применяться как пост-процесс для уменьшения частоты кадров, и эта комбинация, как правило, более надежна, чем простой обратный телесин, который не работает, когда кадры с различной чересстрочной разверткой объединяются вместе.

Деинтерлейсинг расширения поля

Эти методы берут каждое поле (только половину строк) и расширяют его на весь экран, образуя рамку. Это может вдвое уменьшить вертикальное разрешение изображения, но нацелено на поддержание исходной частоты поля (50i или 60i преобразуются в 50p или 60p).

Половина размера
  • При половинном размере каждое поле с чересстрочной разверткой отображается отдельно, в результате получается немасштабированное видео с половинным разрешением по вертикали оригинала. Хотя этот метод сохраняет все исходные пиксели и все временное разрешение, понятно, что он не используется для обычного просмотра из-за неправильного соотношения сторон. Однако его можно успешно использовать для применения видеофильтров, которые ожидают кадра с построчной разверткой, например фильтров , использующих информацию от соседних пикселей (например, повышения резкости).
Удвоение строки
  • При удвоении или «покачивании» строки каждого чересстрочного поля (состоящего только из четных или нечетных строк) удваиваются, заполняя весь кадр. Это приводит к тому, что видео имеет частоту кадров, идентичную исходной частоте полей, но каждый кадр имеет половину вертикального разрешения или разрешение, равное разрешению каждого поля, из которого был создан кадр. Удвоение линий предотвращает артефакты расчесывания и поддерживает плавное движение, но может вызвать заметное снижение качества изображения из-за потери вертикального разрешения и визуальных аномалий, в результате чего неподвижные объекты могут казаться подпрыгивающими вверх и вниз при чередовании нечетных и четных линий. По этой причине эти методы также называют деинтерлейсингом Боба и линейным деинтерлейсингом . Вариант этого метода отбрасывает одно поле из каждого кадра, уменьшая вдвое временное разрешение.

Удвоение строк иногда путают с деинтерлейсингом в целом или с интерполяцией (масштабированием изображения), которая использует пространственную фильтрацию для создания дополнительных строк и, следовательно, уменьшения видимости пикселизации на любом типе дисплея. Термин «удвоитель строк» ​​чаще используется в высокопроизводительной бытовой электронике, в то время как «деинтерлейсинг» чаще используется в области компьютеров и цифрового видео.

Деинтерлейсинг с компенсацией движения

Более продвинутые алгоритмы деинтерлейсинга объединяют традиционные методы комбинирования полей (переплетение и смешивание) и методы расширения кадра (боб или удвоение строк) для создания высококачественной прогрессивной видеопоследовательности. Одним из основных намеков на направление и величину движения может быть направление и длина артефактов комбинирования в чересстрочном сигнале.

Лучшие алгоритмы также пытаются предсказать направление и количество движения изображения между последующими полями, чтобы лучше смешать два поля вместе. Они могут использовать алгоритмы, аналогичные компенсации движения блока, используемой при сжатии видео. Например, если у двух полей лицо человека двигается влево, плетение приведет к расчесыванию, а смешивание - к двоению. Расширенная компенсация движения (в идеале) увидит, что лицо в нескольких полях является одним и тем же изображением, только что перемещено в другое положение, и попытается определить направление и величину такого движения. Затем алгоритм будет пытаться восстановить все детали лица в обоих выходных кадрах, объединяя изображения вместе, перемещая части каждого поля вдоль обнаруженного направления на обнаруженную величину движения. Деинтерлейсеры, использующие эту технику, часто лучше, потому что они могут использовать информацию из многих полей, в отличие от одного или двух, однако они требуют мощного оборудования для достижения этого в реальном времени.

Компенсацию движения необходимо сочетать с обнаружением смены сцены (что имеет свои проблемы), иначе она будет пытаться найти движение между двумя совершенно разными сценами. Плохо реализованный алгоритм компенсации движения будет мешать естественному движению и может привести к визуальным артефактам, которые проявляются как «прыгающие» части в том, что должно быть неподвижным или плавно движущимся изображением.

Измерение качества

Различные методы деинтерлейсинга имеют разные качественные и скоростные характеристики.

Обычно для измерения качества метода деинтерлейсинга используется следующий подход:

  1. Составлен набор прогрессивных видеороликов
  2. Все эти видео имеют чересстрочную развертку
  3. Каждое видео с чересстрочной разверткой деинтерлейсируется с помощью определенного метода деинтерлейсинга.
  4. Все видео с деинтерлейсингом сравниваются с соответствующим исходным видео с помощью объективных показателей качества видео, таких как PSNR , SSIM или VMAF .

Основным показателем измерения скорости является количество кадров в секунду (FPS) - сколько кадров деинтерлейсинг может обработать в секунду. Говоря о FPS, необходимо указывать разрешение всех кадров и характеристики оборудования, потому что скорость конкретного метода деинтерлейсинга существенно зависит от этих двух факторов.

Контрольные точки

Вызов деинтерлейсинга 2019

В этом тесте сравнивалось 8 различных методов деинтерлейсинга на синтетическом видео. На видео есть движущаяся трехмерная кривая Лиссажу, что усложняет использование современных методов деинтерлейсинга. Авторы использовали MSE и PSNR в качестве объективных показателей. Также они измеряют скорость обработки в FPS . Для одних методов есть только визуальное сравнение, для других - только объективное.

Очередные алгоритмы Deinterlacing Challenge 2019
Алгоритм MSE PSNR Скорость обработки
(FPS)
Открытый исходный код
Смесь с деинтерлейсингом Vegas 8,086 43,594 3,53 Нет
Вегас деинтерлейсинг интерполировать 16 426 41,292 3,58 Нет

Тест MSU Deinterlacer Benchmark

В этом тесте сравнивалось более 20 методов на 40 видеопоследовательностях. Общая длина последовательностей 834 кадра. Его авторы заявляют, что главной особенностью этого теста является всестороннее сравнение методов с инструментами визуального сравнения, графиками производительности и настройкой параметров. В качестве объективных показателей авторы использовали PSNR и SSIM .

Лучшие алгоритмы ДИБ МГУ
Алгоритм PSNR SSIM Скорость обработки
(FPS)
Открытый исходный код
Деинтерлейсер МГУ 40,708 0,983 1.3 Нет
VapourSynth TDeintMod 39,916 0,977 50.29 да
ННЭДИ 39,625 0,978 1,91 да
FFmpeg Фильтр деинтерлейсинга Боба Уивера 39 679 0,976 46,45 да
Vapoursynth EEDI3 39 373 0,977 51,9 да
Деинтерлейсер глубокого видео в реальном времени 39,203 0,976 0,27 да

Автор VapourSynth TDeintMod утверждает, что это деинтерлейсер с адаптивным к двунаправленному движению. Метод NNEDI использует нейронную сеть для деинтерлейсинга видеопоследовательностей. FFmpeg Фильтр деинтерлейсинга Боба Уивера является частью хорошо известного фреймворка для обработки видео и аудио. Vapoursynth EEDI3 - это аббревиатура от «улучшенной интерполяции, направленной по краям 3», авторы этого метода заявляют, что он работает, находя наилучшее неубывающее искажение между двумя линиями в соответствии с функционалом стоимости. Авторы Real-Time Deep Video Deinterlacer используют Deep CNN для получения наилучшего качества выходного видео.

Где выполняется деинтерлейсинг

Деинтерлейсинг чересстрочного видеосигнала может выполняться в различных точках производственной цепочки ТВ.

Прогрессивные СМИ

Деинтерлейсинг требуется для архивных программ с чересстрочной разверткой, если формат вещания или медиаформат является прогрессивным, как в вещании EDTV 576p или HDTV 720p50, или в мобильном вещании DVB-H; есть два способа добиться этого.

  • Производство - видео материал с чересстрочной разверткой преобразуется в прогрессивную развертку во время производства программы. Обычно это должно обеспечивать наилучшее возможное качество, поскольку видеооператоры имеют доступ к дорогостоящему и мощному оборудованию и программному обеспечению деинтерлейсинга и могут деинтерлейсинг с наилучшим возможным качеством, вероятно, вручную выбирая оптимальный метод деинтерлейсинга для каждого кадра.
  • Вещание - оборудование деинтерлейсинга в реальном времени преобразует программы с чересстрочной разверткой в ​​прогрессивную развертку непосредственно перед трансляцией. Поскольку время обработки ограничено частотой кадров, а человеческий фактор недоступен, качество преобразования, скорее всего, будет хуже, чем при предварительном методе; однако дорогостоящее и высокопроизводительное оборудование для деинтерлейсинга может по-прежнему давать хорошие результаты при правильной настройке.

СМИ с чересстрочной разверткой

Когда широковещательный или мультимедийный формат является чересстрочным, деинтерлейсинг в реальном времени должен выполняться встроенной схемой в телевизионной приставке, телевизоре, внешнем видеопроцессоре, проигрывателе DVD или DVR или карте ТВ-тюнера. Поскольку оборудование бытовой электроники обычно намного дешевле, имеет значительно меньшую вычислительную мощность и использует более простые алгоритмы по сравнению с профессиональным оборудованием для деинтерлейсинга, качество деинтерлейсинга может широко варьироваться, и типичные результаты часто бывают плохими даже на высокопроизводительном оборудовании.

Использование компьютера для воспроизведения и / или обработки потенциально позволяет более широкий выбор видеоплееров и / или программного обеспечения для редактирования, не ограничиваясь качеством, предлагаемым встроенным устройством бытовой электроники, поэтому возможно, по крайней мере, теоретически более высокое качество деинтерлейсинга, особенно если пользователь может предварительное преобразование чересстрочного видео в прогрессивную развертку перед воспроизведением, а также передовые и трудоемкие алгоритмы деинтерлейсинга (т. е. с использованием "производственного" метода).

Однако качество как бесплатного, так и коммерческого программного обеспечения потребительского уровня может не соответствовать уровню профессионального программного обеспечения и оборудования. Кроме того, большинство пользователей не обучены производству видео; это часто приводит к плохим результатам, поскольку многие люди мало знают о деинтерлейсинге и не знают, что частота кадров вдвое меньше частоты поля. Многие кодеки / плееры даже не выполняют деинтерлейсинг сами по себе и полагаются на графическую карту и API ускорения видео для правильного деинтерлейсинга.

Опасения по поводу эффективности

Европейский вещательный союз уже выступал против использования чересстрочной производства и вещания, рекомендуя 720P 50 FPS (кадров в секунду) в качестве текущего формата производства и работы с промышленностью , чтобы ввести 1080p 50 в качестве перспективной стандарт производства , который предлагает более высокий вертикальный разрешение, лучшее качество при более низком битрейте и более простое преобразование в другие форматы, такие как 720p50 и 1080i50. Главный аргумент состоит в том, что каким бы сложным ни был алгоритм деинтерлейсинга, артефакты в чересстрочном сигнале не могут быть полностью устранены, потому что некоторая информация теряется между кадрами.

Ив Фаруджа , основатель Faroudja Labs и обладатель премии «Эмми» за достижения в технологии деинтерлейсинга, заявил, что «чересстрочная развертка в прогрессивную не работает», и посоветовал не использовать чересстрочный сигнал.

Смотрите также

использованная литература

внешние ссылки