Винеровский фильтр - Wiener filter

В обработке сигналов , то фильтр Винер является фильтр используется для получения оценки желаемых или целевой случайный процесс с помощью линейного времени инварианта ( LTI ) фильтрации наблюдаемого шумного процесса, при условии , известный стационарного сигнала и спектров шума и аддитивный шума. Фильтр Винера минимизирует среднеквадратичную ошибку между оцененным случайным процессом и желаемым процессом.

Описание

Цель фильтра Винера - вычислить статистическую оценку неизвестного сигнала с использованием связанного сигнала в качестве входа и фильтрации этого известного сигнала для получения оценки в качестве выхода. Например, известный сигнал может состоять из интересующего неизвестного сигнала, который был искажен аддитивным шумом . Фильтр Винера может использоваться для фильтрации шума из искаженного сигнала, чтобы обеспечить оценку основного сигнала, представляющего интерес. Фильтр Винера основан на статистическом подходе, и более статистическое изложение теории дается в статье об оценке минимальной среднеквадратичной ошибки (MMSE) .

Типичные детерминированные фильтры предназначены для получения желаемой частотной характеристики . Однако конструкция фильтра Винера использует другой подход. Предполагается, что каждый знает спектральные свойства исходного сигнала и шума, а другой ищет линейный инвариантный во времени фильтр, выходной сигнал которого будет максимально приближен к исходному сигналу. Фильтры Винера характеризуются следующим:

1. Предположение: сигнал и (аддитивный) шум - это стационарные линейные случайные процессы с известными спектральными характеристиками или известными автокорреляциями и взаимными корреляциями.
2. Требование: фильтр должен быть физически реализуемым / причинным (это требование можно отбросить, что приведет к непричинному решению)
3. Критерий качества: минимальная среднеквадратичная ошибка (MMSE)

Этот фильтр часто используется в процессе деконволюции ; для этого приложения см. деконволюцию Винера .

Решения для фильтров Wiener

Позвольте быть неизвестным сигналом, который должен быть оценен из сигнала измерения . Проблема фильтра Винера имеет решения для трех возможных случаев: один, когда непричинный фильтр приемлем (требует бесконечного количества как прошлых, так и будущих данных), случай, когда нужен причинный фильтр (с использованием бесконечного количества прошлых данных), и случай с конечной импульсной характеристикой (КИХ), когда используются только входные данные (т. е. результат или выход не передаются обратно в фильтр, как в случае БИХ). Первый случай легко решить, но он не подходит для приложений реального времени. Основным достижением Винера было решение случая, в котором действует требование причинности; Норман Левинсон дал решение FIR в приложении к книге Винера. ${\ displaystyle s (t)}$${\ Displaystyle х (т)}$

Непричинное решение

${\ Displaystyle G (s) = {\ гидроразрыва {S_ {x, s} (s)} {S_ {x} (s)}} e ^ {\ alpha s},}$

где - спектральные плотности . Если это оптимально, то уравнение минимальной среднеквадратичной ошибки сводится к ${\ displaystyle S}$${\ displaystyle g (t)}$

${\ displaystyle E (e ^ {2}) = R_ {s} (0) - \ int _ {- \ infty} ^ {\ infty} g (\ tau) R_ {x, s} (\ tau + \ alpha ) \, d \ tau,}$

и раствор является обратным Двустороннее преобразование Лапласа из . ${\ displaystyle g (t)}$${\ Displaystyle G (s)}$

Причинное решение

${\ Displaystyle G (s) = {\ гидроразрыва {H (s)} {S_ {x} ^ {+} (s)}},}$

куда

• ${\ displaystyle H (s)}$ состоит из причинной части (то есть той части этой дроби, которая имеет положительное временное решение при обратном преобразовании Лапласа) ${\ displaystyle {\ frac {S_ {x, s} (s)} {S_ {x} ^ {-} (s)}} e ^ {\ alpha s}}$
• ${\ displaystyle S_ {x} ^ {+} (s)}$ является причинным компонентом (т.е. обратное преобразование Лапласа отлично от нуля только для ) ${\ displaystyle S_ {x} (s)}$${\ displaystyle S_ {x} ^ {+} (s)}$${\ Displaystyle т \ geq 0}$
• ${\ displaystyle S_ {x} ^ {-} (s)}$ является антипричинным компонентом (т.е. обратное преобразование Лапласа отлично от нуля только для ) ${\ displaystyle S_ {x} (s)}$${\ displaystyle S_ {x} ^ {-} (s)}$${\ displaystyle t <0}$

Эта общая формула сложна и заслуживает более подробного пояснения. Чтобы записать решение в конкретном случае, необходимо выполнить следующие действия: ${\ Displaystyle G (s)}$

1. Начните со спектра в рациональной форме и разложите его на причинные и антипричинные компоненты: где содержит все нули и полюсы в левой полуплоскости (LHP) и содержит нули и полюсы в правой полуплоскости (RHP). Это называется факторизацией Винера – Хопфа . ${\ displaystyle S_ {x} (s)}$${\ Displaystyle S_ {x} (s) = S_ {x} ^ {+} (s) S_ {x} ^ {-} (s)}$${\ Displaystyle S ^ {+}}$${\ Displaystyle S ^ {-}}$
2. Разделите на и запишите результат в виде дроби . ${\ displaystyle S_ {x, s} (s) e ^ {\ alpha s}}$${\ displaystyle S_ {x} ^ {-} (s)}$
3. Выберите только те термины в этом расширении, у которых есть полюсы в LHP. Назовите эти условия . ${\ displaystyle H (s)}$
4. Разделить на . Результатом является желаемая передаточная функция фильтра . ${\ displaystyle H (s)}$${\ displaystyle S_ {x} ^ {+} (s)}$${\ Displaystyle G (s)}$

Фильтр Винера с конечной импульсной характеристикой для дискретных серий

Блок-схема КИХ-фильтра Винера для дискретных серий. Входной сигнал w [ n ] свертывается с фильтром Винера g [ n ], и результат сравнивается с опорным сигналом s [ n ], чтобы получить ошибку фильтрации e [ n ].

Причинно-следственный фильтр Винера с конечной импульсной характеристикой (КИХ) вместо использования некоторой заданной матрицы данных X и выходного вектора Y находит оптимальные веса ответвлений, используя статистику входных и выходных сигналов. Он заполняет входную матрицу X оценками автокорреляции входного сигнала (T) и заполняет выходной вектор Y оценками взаимной корреляции между выходным и входным сигналами (V).

Чтобы получить коэффициенты фильтра Винера, рассмотрим сигнал w [ n ], подаваемый на фильтр Винера порядка (количества прошедших отводов) N и с коэффициентами . Выходной сигнал фильтра обозначается x [ n ], который задается выражением ${\ Displaystyle \ {а_ {0}, \ cdots, а_ {N} \}}$

${\ displaystyle x [n] = \ sum _ {i = 0} ^ {N} a_ {i} w [ni].}$

Остаточная ошибка обозначается e [ n ] и определяется как e [ n ] = x [ n ] -  s [ n ] (см. Соответствующую блок-схему). Фильтр Винера разработан таким образом, чтобы минимизировать среднеквадратичную ошибку ( критерий MMSE ), которую можно кратко сформулировать следующим образом:

${\ displaystyle a_ {i} = \ arg \ min E \ left [e ^ {2} [n] \ right],}$

где обозначает оператор математического ожидания. В общем случае коэффициенты могут быть комплексными и могут быть получены для случая, когда w [ n ] и s [ n ] также являются комплексными. При комплексном сигнале решаемой матрицей является эрмитова матрица Теплица , а не симметричная матрица Теплица . Для простоты ниже рассматривается только случай, когда все эти величины действительны. Среднеквадратичная ошибка (MSE) может быть переписана как: ${\ displaystyle E [\ cdot]}$${\ displaystyle a_ {i}}$

${\ displaystyle {\ begin {align} E \ left [e ^ {2} [n] \ right] & = E \ left [(x [n] -s [n]) ^ {2} \ right] \\ & = E \ left [x ^ {2} [n] \ right] + E \ left [s ^ {2} [n] \ right] -2E [x [n] s [n]] \\ & = E \ left [\ left (\ sum _ {i = 0} ^ {N} a_ {i} w [ni] \ right) ^ {2} \ right] + E \ left [s ^ {2} [n] \ right] -2E \ left [\ sum _ {i = 0} ^ {N} a_ {i} w [ni] s [n] \ right] \ end {выровнено}}}$

Чтобы найти вектор, который минимизирует указанное выше выражение, вычислите его производную по каждому ${\ Displaystyle [а_ {0}, \, \ ldots, \, а_ {N}]}$${\ displaystyle a_ {i}}$

${\ displaystyle {\ begin {align} {\ frac {\ partial} {\ partial a_ {i}}} E \ left [e ^ {2} [n] \ right] & = {\ frac {\ partial} { \ partial a_ {i}}} \ left \ {E \ left [\ left (\ sum _ {i = 0} ^ {N} a_ {i} w [ni] \ right) ^ {2} \ right] + E \ left [s ^ {2} [n] \ right] -2E \ left [\ sum _ {i = 0} ^ {N} a_ {i} w [ni] s [n] \ right] \ right \ } \\ & = 2E \ left [\ left (\ sum _ {j = 0} ^ {N} a_ {j} w [nj] \ right) w [ni] \ right] -2E [w [ni] s [n]] \\ & = 2 \ left (\ sum _ {j = 0} ^ {N} E [w [nj] w [ni]] a_ {j} \ right) -2E [w [ni] s [n]] \ end {выровнено}}}$

Предполагая, что каждая из w [ n ] и s [ n ] является стационарной и совместно стационарной, последовательности и, известные соответственно как автокорреляция w [ n ] и взаимная корреляция между w [ n ] и s [ n ], могут быть определены как следует: ${\ Displaystyle R_ {w} [м]}$${\ Displaystyle R_ {WS} [м]}$

${\ Displaystyle {\ begin {align} R_ {w} [m] & = E \ {w [n] w [n + m] \} \\ R_ {ws} [m] & = E \ {w [n ] s [n + m] \} \ end {выровнено}}}$

Следовательно, производная от MSE может быть переписана как:

${\ displaystyle {\ frac {\ partial} {\ partial a_ {i}}} E \ left [e ^ {2} [n] \ right] = 2 \ left (\ sum _ {j = 0} ^ {N } R_ {w} [ji] a_ {j} \ right) -2R_ {ws} [i] \ qquad i = 0, \ cdots, N.}$

Обратите внимание, что на самом деле автокорреляция симметрична: ${\ Displaystyle ш [п]}$

$${\ Displaystyle R_ {w} [ji] = R_ {w} [ij]}$$

${\ displaystyle \ sum _ {j = 0} ^ {N} R_ {w} [ji] a_ {j} = R_ {ws} [i] \ qquad i = 0, \ cdots, N.}$

который можно переписать (используя указанное выше свойство симметрии) в матричной форме

${\ displaystyle \ underbrace {\ begin {bmatrix} R_ {w} [0] & R_ {w} [1] & \ cdots & R_ {w} [N] \\ R_ {w} [1] & R_ {w} [0 ] & \ cdots & R_ {w} [N-1] \\\ vdots & \ vdots & \ ddots & \ vdots \\ R_ {w} [N] & R_ {w} [N-1] & \ cdots & R_ {w } [0] \ end {bmatrix}} _ {\ mathbf {T}} \ underbrace {\ begin {bmatrix} a_ {0} \\ a_ {1} \\\ vdots \\ a_ {N} \ end {bmatrix }} _ {\ mathbf {a}} = \ underbrace {\ begin {bmatrix} R_ {ws} [0] \\ R_ {ws} [1] \\\ vdots \\ R_ {ws} [N] \ end {bmatrix}} _ {\ mathbf {v}}}$

Эти уравнения известны как уравнения Винера – Хопфа . Матрица T, фигурирующая в уравнении, является симметричной матрицей Теплица . При подходящих условиях на эти матрицы , как известно, положительно определена и , следовательно , несингулярное что дает уникальное решение для определения вектора коэффициентов фильтра Винера, . Кроме того, существует эффективный алгоритм для решения таких уравнений Винера – Хопфа, известный как алгоритм Левинсона-Дурбина , поэтому явное обращение T не требуется. ${\ displaystyle R}$${\ Displaystyle \ mathbf {а} = \ mathbf {T} ^ {- 1} \ mathbf {v}}$

В некоторых статьях функция взаимной корреляции определяется противоположным образом:

$${\ Displaystyle R_ {SW} [м] = E \ {ш [п] s [п + м] \}}$$

${\ displaystyle \ mathbf {v}}$

${\ Displaystyle R_ {sw} [0] \ ldots R_ {sw} [N]}$

Какие бы обозначения ни использовались, обратите внимание, что на самом деле : ${\ Displaystyle ш [п], s [п]}$

$${\ Displaystyle R_ {SW} [k] = R_ {WS} [- k]}$$

Отношение к фильтру наименьших квадратов

Реализация причинного фильтра Винера очень похожа на решение оценки методом наименьших квадратов , за исключением области обработки сигналов. Решение методом наименьших квадратов для входной матрицы и выходного вектора : ${\ displaystyle \ mathbf {X}}$${\ displaystyle \ mathbf {y}}$

${\ displaystyle {\ boldsymbol {\ hat {\ beta}}} = (\ mathbf {X} ^ {\ mathbf {T}} \ mathbf {X}) ^ {- 1} \ mathbf {X} ^ {\ mathbf {T}} {\ boldsymbol {y}}.}$

КИХ-фильтр Винера относится к фильтру наименьших средних квадратов , но минимизация критерия ошибки последнего не зависит от взаимной корреляции или автокорреляции. Его решение сходится к решению фильтра Винера.

Сложные сигналы

Для сложных сигналов вывод комплексного фильтра Винера выполняется путем минимизации = . Это включает в себя вычисление частных производных как по действительной, так и по мнимой частям и требование, чтобы они оба были равны нулю. ${\ displaystyle E \ left [| e [n] | ^ {2} \ right]}$${\ displaystyle E \ left [e [n] e ^ {*} [n] \ right]}$${\ displaystyle a_ {i}}$

В результате получаются уравнения Винера-Хопфа:

${\ displaystyle \ sum _ {j = 0} ^ {N} R_ {w} [ji] a_ {j} ^ {*} = R_ {ws} [i] \ qquad i = 0, \ cdots, N.}$

который можно переписать в матричном виде:

${\ displaystyle \ underbrace {\ begin {bmatrix} R_ {w} [0] & R_ {w} ^ {*} [1] & \ cdots & R_ {w} ^ {*} [N-1] & R_ {w} ^ {*} [N] \\ R_ {w} [1] & R_ {w} [0] & \ cdots & R_ {w} ^ {*} [N-2] & R_ {w} ^ {*} [N-1 ] \\\ vdots & \ vdots & \ ddots & \ vdots & \ vdots \\ R_ {w} [N-1] & R_ {w} [N-2] & \ cdots & R_ {w} [0] & R_ {w } ^ {*} [1] \\ R_ {w} [N] & R_ {w} [N-1] & \ cdots & R_ {w} [1] & R_ {w} [0] \ end {bmatrix}} _ {\ mathbf {T}} \ underbrace {\ begin {bmatrix} a_ {0} ^ {*} \\ a_ {1} ^ {*} \\\ vdots \\ a_ {N-1} ^ {*} \ \ a_ {N} ^ {*} \ end {bmatrix}} _ {\ mathbf {a ^ {*}}} = \ underbrace {\ begin {bmatrix} R_ {ws} [0] \\ R_ {ws} [ 1] \\\ vdots \\ R_ {ws} [N-1] \\ R_ {ws} [N] \ end {bmatrix}} _ {\ mathbf {v}}}$

Обратите внимание:

$${\ displaystyle {\ begin {align} R_ {w} [- k] & = R_ {w} ^ {*} [k] \\ R_ {sw} [k] & = R_ {ws} ^ {*} [ -k] \ end {выровнено}}}$$

Затем вектор коэффициентов Винера вычисляется как:

$${\ Displaystyle \ mathbf {а} = {(\ mathbf {T} ^ {- 1} \ mathbf {v})} ^ {*}}$$

Приложения

Фильтр Винера имеет множество применений в обработке сигналов, обработке изображений, системах управления и цифровой связи. Эти приложения обычно относятся к одной из четырех основных категорий:

• Идентификация системы
• Деконволюция
• Подавление шума
• Обнаружение сигнала

Например, фильтр Винера можно использовать при обработке изображений для удаления шума с изображения. Например, с помощью функции Mathematica: WienerFilter[image,2] на первом изображении справа создает отфильтрованное изображение под ним.

Шумное изображение космонавта.

Шумное изображение космонавта после применения фильтра Винера.

Он обычно используется для шумоподавления аудиосигналов, особенно речи, в качестве препроцессора перед распознаванием речи .

История

Фильтр был предложен Норбертом Винером в 1940-х годах и опубликован в 1949 году. Эквивалент работы Винера в дискретном времени был независимо выведен Андреем Колмогоровым и опубликован в 1941 году. Поэтому теорию часто называют теорией фильтрации Винера – Колмогорова ( см. Кригинг. ). Фильтр Винера был первым предложенным статистически разработанным фильтром, впоследствии породившим множество других, включая фильтр Калмана .

Смотрите также

• Норберт Винер
• Эберхард Хопф
• Винеровская деконволюция
• фильтр наименьших средних квадратов
• сходство между Wiener и LMS
• линейное предсказание
• Оценщик MMSE
• Фильтр Калмана
• обобщенный фильтр Винера
• согласованный фильтр
• Теория информационного поля

Рекомендации

• Томас Кайлат , Али Х. Сайед и Бабак Хассиби , Линейная оценка, Прентис-Холл, Нью-Джерси, 2000, ISBN   978-0-13-022464-4 .
• Винер Н.: Интерполяция, экстраполяция и сглаживание стационарных временных рядов », Отчет Службы 19, Исследовательский проект DIC-6037 MIT, февраль 1942 г.
• Колмогоров А.Н.: «Стационарные последовательности в гильбертовом пространстве», Бюл. Московский унив. 1941 том 2 номер 6 1-40. Английский перевод в Kailath T. (ред.) Линейная оценка методом наименьших квадратов Dowden, Hutchinson & Ross 1977

внешняя ссылка

• Функция Mathematica WienerFilter