Ковариационная матрица - Covariance matrix

Двумерный функция плотности вероятности гауссова с центром в точке (0, 0), с ковариационной матрицей , заданной
Выборочные точки из двумерного гауссовского распределения со стандартным отклонением 3 примерно в нижнем левом и верхнем правом направлениях и 1 в ортогональном направлении. Поскольку компоненты x и y изменяются одновременно, дисперсии и не полностью описывают распределение. Требуется ковариационная матрица; направления стрелок соответствуют собственным векторам этой ковариационной матрицы, а их длины - квадратным корням из собственных значений .

В теории вероятностей и статистики , A ковариационной матрицы (также известный как авто- ковариационной матрицы , дисперсии матрицы , дисперсии матрицы , или ковариационной матрицы ) представляет собой квадратную матрицу давая ковариации между каждой парой элементов данного случайного вектора . Любая ковариационная матрица является симметричной и положительно полуопределенной, а ее главная диагональ содержит дисперсии (т. Е. Ковариацию каждого элемента с самим собой).

Интуитивно ковариационная матрица обобщает понятие дисперсии на несколько измерений. В качестве примера, изменение в коллекции случайных точек в двумерном пространстве не может быть полностью охарактеризован одним числом, ни бы разницы в и направления содержат всю необходимую информацию; матрица будет необходимо , чтобы полностью охарактеризовать двумерный вариант.

Ковариационная матрица случайного вектора обычно обозначается или .

Определение

В этой статье жирного шрифт unsubscripted и используется для обозначения случайных векторов, и unboldfaced индексируется и используется для обозначения скалярных случайных величин.

Если записи в векторе столбца

являются случайными величинами , каждый из которых с конечной дисперсией и ожидаемым значением , то матрицей ковариации является матрицей, запись является ковариационным

где оператор обозначает ожидаемое значение (среднее значение) своего аргумента.

Другими словами,

Приведенное выше определение эквивалентно матричному равенству

 

 

 

 

( Уравнение 1 )

где .

Обобщение дисперсии

Эту форму ( уравнение 1 ) можно рассматривать как обобщение скалярной дисперсии на более высокие измерения. Помните, что для случайной величины со скалярным знаком

Действительно, элементы на диагонали матрицы автоковариации - это дисперсии каждого элемента вектора .

Противоречивые номенклатуры и обозначения

Номенклатуры различаются. Некоторые статистики, после вероятностника Феллер в его двухтомной книге Введения в теорию вероятностей и ее приложение , называть матрицу с дисперсией случайного вектора , потому что это естественное обобщение на более высокие размеры 1-мерной дисперсии. Другие называют ее ковариационной матрицей , потому что это матрица ковариаций между скалярными компонентами вектора .

Обе формы вполне стандартные, и между ними нет никакой двусмысленности. Матрицу также часто называют матрицей дисперсии-ковариации , поскольку диагональные члены на самом деле являются дисперсиями.

Для сравнения, обозначение матрицы кросс-ковариации между двумя векторами таково:

Характеристики

Связь с автокорреляционной матрицей

Матрица автоковариации связана с матрицей автокорреляции соотношением

где автокорреляционная матрица определяется как .

Связь с корреляционной матрицей

Сущность, тесно связанная с ковариационной матрицей, - это матрица коэффициентов корреляции момента произведения Пирсона между каждой из случайных величин в случайном векторе , которую можно записать как

где - матрица диагональных элементов (т. е. диагональная матрица дисперсий для ).

Эквивалентно, корреляционная матрица может рассматриваться как ковариационная матрица стандартизованных случайных величин для .

Каждый элемент на главной диагонали корреляционной матрицы является корреляцией случайной величины с самим собой, которая всегда равна 1. Каждый недиагональный элемент находится между -1 и +1 включительно.

Обращение к ковариационной матрице

Обратная матрица, если она существует, является матрицей обратной ковариации, также известной как матрица концентрации или матрица точности .

Основные свойства

Для и , где - размерная случайная величина, применяются следующие основные свойства:

  1. является положительным полуопределенной , т.е.
  2. является симметричным , т.е.
  3. Для любой постоянной (т.е. неслучайной) матрицы и постоянного вектора один имеет
  4. Если это еще один случайный вектор с той же размерности, что и , затем , где является кросс-ковариационная матрица из и .

Блочные матрицы

Совместная средняя и совместная ковариационная матрица из и может быть записана в виде блока

где , и .

и могут быть идентифицированы как матрицы дисперсии предельных распределений для и соответственно.

Если и будут совместно распределены нормально ,

тогда условное распределение для данного дается выражением

определяется условным средним

и условная дисперсия

Матрица известна как матрица коэффициентов регрессии , а в линейной алгебре - это дополнение Шура к in .

Матрица коэффициентов регрессии часто может быть дана в транспонированной форме, подходящей для последующего умножения вектора-строки независимых переменных, а не предварительного умножения вектора-столбца . В таком виде они соответствуют коэффициентам , полученным путем переворачивания матрицу нормальных уравнений по обычным методом наименьших квадратов (МНК).

Матрица частичной ковариации

Ковариационная матрица со всеми ненулевыми элементами говорит нам, что все отдельные случайные величины взаимосвязаны. Это означает, что переменные не только напрямую связаны, но и косвенно связаны через другие переменные. Часто такие косвенные корреляции общего режима тривиальны и неинтересны. Их можно подавить, вычислив частичную матрицу ковариаций, то есть часть матрицы ковариаций, которая показывает только интересную часть корреляций.

Если два вектора случайных величин и коррелируются через другой вектор , последние корреляции подавляются в матрице

Частичная ковариационная матрица фактически представляет собой простую ковариационную матрицу, как если бы неинтересные случайные величины оставались постоянными.

Матрица ковариации как параметр распределения

Если вектор - столбец из , возможно , коррелированных случайных величин совместно распределен нормально , или в более общем случае эллиптический распределен , то его функция плотности вероятности может быть выражена в терминах ковариационной матрицы следующей

где и является определяющим фактором в .

Матрица ковариации как линейный оператор

Применительно к одному вектору, ковариационная матрица отображает линейную комбинацию C случайных величин X на вектор ковариации с этими переменными: . Обработанные в качестве билинейной формы , она дает ковариации между двумя линейными комбинациями: . Тогда дисперсия линейной комбинации - это ее ковариация с самой собой.

Точно так же (псевдо) обратная ковариационная матрица обеспечивает внутренний продукт , который индуцирует расстояние Махаланобиса , меру «маловероятности» c .

Какие матрицы являются ковариационными матрицами?

Из тождества чуть выше, пусть будет вектор с действительными значениями, тогда

который всегда должен быть неотрицательным, поскольку это дисперсия вещественной случайной величины, поэтому ковариационная матрица всегда является положительно-полуопределенной матрицей .

Приведенный выше аргумент может быть расширен следующим образом:

где последнее неравенство следует из скалярного наблюдения .

И наоборот, каждая симметричная положительно полуопределенная матрица является ковариационной матрицей. Чтобы убедиться в этом, предположим, что это симметричная положительно-полуопределенная матрица. Из конечномерного случая спектральной теоремы следует, что имеет неотрицательный симметричный квадратный корень , который можно обозначить через M 1/2 . Позвольте быть любой случайной величиной со значением вектора-столбца, ковариационная матрица которой является единичной матрицей. потом

Комплексные случайные векторы

Дисперсию из сложного скалярной случайной переменной с ожидаемым значением обычно определяется с использованием комплексного сопряжения :

где комплексное сопряжение комплексного числа обозначается ; таким образом, дисперсия сложной случайной величины является действительным числом.

Если - вектор-столбец комплексных случайных величин, то сопряженное транспонирование формируется как транспонированием, так и сопряжением. В следующем выражении произведение вектора на сопряженное транспонирование приводит к квадратной матрице, называемой ковариационной матрицей , в качестве математического ожидания:

,

Полученная таким образом матрица будет эрмитовой положительно-полуопределенной , с действительными числами на главной диагонали и комплексными числами вне диагонали.

Характеристики
  • Ковариационная матрица является эрмитовой матрицей , то есть .
  • Диагональные элементы ковариационной матрицы действительны.

Матрица псевдоковариации

Для сложных случайных векторов, другого типа второго центрального момента, матрица псевдоковариации (также называемая матрицей отношений ) определяется следующим образом:

В отличие от ковариационной матрицы, определенной выше, эрмитова транспозиция заменяется транспонированием в определении. Его диагональные элементы могут быть комплексными; это сложная симметричная матрица .

Предварительный расчет

Если и представляют собой центрированные матрицы данных размерности и соответственно, то есть с n столбцами наблюдений p и q строк переменных, из которых были вычтены средние по строкам, то, если средние по строкам были оценены на основе данных, выборочные ковариационные матрицы и можно определить как

или, если средние по строкам были известны априори,

Эти эмпирические выборочные ковариационные матрицы являются наиболее простыми и наиболее часто используемыми оценщиками для ковариационных матриц, но существуют и другие оценщики, включая регуляризованные оценщики или оценщики усадки, которые могут иметь лучшие свойства.

Приложения

Ковариационная матрица - полезный инструмент во многих различных областях. Из него может быть получена матрица преобразования , называемая преобразованием отбеливания , которая позволяет полностью декоррелировать данные или, с другой точки зрения, найти оптимальную основу для представления данных в компактном виде (см. Коэффициент Рэлея для формальное доказательство и дополнительные свойства ковариационных матриц). Это называется анализом главных компонент (PCA) и преобразованием Карунена – Лоэва (KL-преобразованием).

Ковариационная матрица играет ключевую роль в финансовой экономике , особенно в теории портфелей и ее теореме разделения паевых инвестиционных фондов, а также в модели ценообразования капитальных активов . Матрица ковариаций доходности различных активов используется для определения, при определенных допущениях, относительных сумм различных активов, которые инвесторы должны (в нормативном анализе ) или, по прогнозам (в положительном анализе ), предпочитают держать в контексте диверсификация .

Ковариационное отображение

При ковариационном картировании значения матрицы или отображаются в виде двухмерной карты. Когда векторы и являются дискретными случайными функциями , карта показывает статистические отношения между различными областями случайных функций. Статистически независимые области функций отображаются на карте как равнины с нулевым уровнем, в то время как положительные или отрицательные корреляции отображаются, соответственно, как холмы или долины.

На практике векторы-столбцы и получаются экспериментально в виде строк выборок, например

где - i-е дискретное значение в выборке j случайной функции . Ожидаемые значения, необходимые в формуле ковариации, оцениваются с использованием выборочного среднего , например

а ковариационная матрица оценивается выборочной ковариационной матрицей

где угловые скобки обозначают усреднение выборки, как и раньше, за исключением того, что необходимо сделать поправку Бесселя, чтобы избежать смещения . Используя эту оценку, частную матрицу ковариации можно рассчитать как

где обратная косая черта обозначает левый оператор деления матрицы , который обходит требование инвертировать матрицу и доступен в некоторых вычислительных пакетах, таких как Matlab .

Рисунок 1: Построение частичной ковариационной карты молекул N 2 , подвергающихся кулоновскому взрыву, индуцированному лазером на свободных электронах. Панели a и b отображают два члена ковариационной матрицы, которая показана на панели c . Панель d отображает синфазные корреляции через флуктуации интенсивности лазера. Панель e отображает частичную матрицу ковариации, скорректированную с учетом флуктуаций интенсивности. Панель f показывает, что 10% избыточная коррекция улучшает карту и делает ионно-ионную корреляцию четко видимой. Благодаря сохранению импульса эти корреляции выглядят как линии, приблизительно перпендикулярные линии автокорреляции (и периодическим модуляциям, вызываемым звоном детектора).

На рис. 1 показано, как строится частичная ковариационная карта на примере эксперимента, проведенного на лазере на свободных электронах FLASH в Гамбурге. Случайная функция - это времяпролетный спектр ионов от кулоновского взрыва молекул азота, многократно ионизированных лазерным импульсом. Поскольку за каждый лазерный импульс ионизируются только несколько сотен молекул, однократные спектры сильно колеблются. Однако обычно сбор таких спектров и их усреднение дает гладкий спектр , который показан красным в нижней части рис. 1. В среднем спектре видно несколько ионов азота в форме пиков, расширенных их кинетической энергией, но до Для нахождения корреляций между стадиями ионизации и импульсами ионов необходимо вычислить ковариационную карту.

В примере на рис. 1 спектры и совпадают, за исключением того, что диапазон времени пролета отличается. Панель a показывает , панель b показывает, а панель c показывает их различие, которое есть (обратите внимание на изменение цветовой шкалы). К сожалению, эта карта перегружена неинтересными синфазными корреляциями, вызванными колебаниями интенсивности лазера от кадра к кадру. Чтобы подавить такие корреляции, интенсивность лазера записывается при каждом выстреле, вводится и рассчитывается, как показано на панелях d и e . Однако подавление неинтересных корреляций несовершенно, потому что есть другие источники синфазных флуктуаций, кроме интенсивности лазера, и, в принципе, все эти источники следует контролировать в векторе . Однако на практике часто бывает достаточно сверхкомпенсировать частичную ковариационную поправку, как показано на панели f , где теперь отчетливо видны интересные корреляции импульсов ионов в виде прямых линий, центрированных на стадиях ионизации атомарного азота.

Двумерная инфракрасная спектроскопия

Двумерная инфракрасная спектроскопия использует корреляционный анализ для получения двумерных спектров конденсированной фазы . Есть две версии этого анализа: синхронный и асинхронный . Математически первый выражается в терминах выборочной матрицы ковариаций, а метод эквивалентен ковариационному отображению.

Смотрите также

использованная литература

дальнейшее чтение