Теория вероятности - Probability theory

Теория вероятностей - это раздел математики, связанный с вероятностью . Хотя существует несколько различных интерпретаций вероятностей, теория вероятностей трактует это понятие строго математически, выражая его через набор аксиом . Обычно эти аксиомы формализуют вероятность в терминах вероятностного пространства , которое присваивает меру, принимающую значения от 0 до 1, называемую вероятностной мерой , набору результатов, называемому пространством выборки . Любое указанное подмножество выборочного пространства называется событием . К основным предметам теории вероятностей относятся дискретные и непрерывные случайные величины , распределения вероятностей и случайные процессы , которые обеспечивают математические абстракции недетерминированных или неопределенных процессов или измеренных величин, которые могут быть либо единичными, либо изменяться с течением времени случайным образом. Хотя невозможно точно предсказать случайные события, можно многое сказать об их поведении. Два основных результата теории вероятностей, описывающих такое поведение, - это закон больших чисел и центральная предельная теорема .

В качестве математической основы статистики теория вероятностей имеет важное значение для многих видов человеческой деятельности, связанной с количественным анализом данных. Методы теории вероятностей также применимы к описанию сложных систем с учетом лишь частичного знания их состояния, как в статистической механике или последовательном оценивании . Большое открытие двадцатого века физики был вероятностный характер физических явлений в атомных масштабах, описанных в квантовой механике .

История вероятности

Современная математическая теория вероятности имеет свои корни в попытках проанализировать азартные игры на Кардано в шестнадцатом веке, и Пьер де Ферма и Блез Паскаль в семнадцатом веке (например, « проблема точек »). Христиан Гюйгенс опубликовал книгу на эту тему в 1657 году, а в 19 веке Пьер Лаплас завершил то, что сегодня считается классической интерпретацией.

Первоначально теория вероятностей рассматривала в основном дискретные события, а ее методы были в основном комбинаторными . В конце концов, аналитические соображения вынудили включить в теорию непрерывные переменные.

Кульминацией этого стала современная теория вероятностей, заложенная Андреем Николаевичем Колмогоровым . Колмогоров объединил понятие выборочного пространства , введенное Рихардом фон Мизесом , и теорией меры и представил свою систему аксиом для теории вероятностей в 1933 году. Это стало в основном бесспорной аксиоматической основой современной теории вероятностей; но существуют альтернативы, такие как принятие Бруно де Финетти конечной, а не счетной аддитивности .

Уход

Большинство введений в теорию вероятностей рассматривают дискретные распределения вероятностей и непрерывные распределения вероятностей отдельно. Рассмотрение вероятности на основе теории меры охватывает дискретное, непрерывное, сочетание двух и многих других.

Мотивация

Рассмотрим эксперимент, который может дать несколько результатов. Набор всех результатов называется выборкой эксперимента. Набор мощности образца пространства (или , что эквивалентно, пространство событий) формируется с учетом всех различных наборов возможных результатов. Например, бросок честной кости дает один из шести возможных результатов. Один набор возможных результатов соответствует получению нечетного числа. Таким образом, подмножество {1,3,5} является элементом набора мощности пробного пространства фильерных валков. Эти коллекции называются событиями . В этом случае {1,3,5} - это событие, когда кубик выпадает на нечетное число. Если результаты, которые действительно происходят, попадают в данное событие, говорят, что это событие произошло.

Вероятность - это способ присвоения каждому «событию» значения от нуля до единицы с требованием, чтобы событие состояло из всех возможных результатов (в нашем примере событие {1,2,3,4,5,6}) будет присвоено значение один. Чтобы считаться вероятностным распределением , присвоение значений должно удовлетворять требованию, согласно которому, если вы просматриваете набор взаимоисключающих событий (события, не содержащие общих результатов, например, события {1,6}, {3} и { 2,4} являются взаимоисключающими), вероятность того, что любое из этих событий произойдет, дается суммой вероятностей событий.

Вероятность того, что произойдет одно из событий {1,6}, {3} или {2,4}, составляет 5/6. Это то же самое, что сказать, что вероятность события {1,2,3,4,6} составляет 5/6. Это событие подразумевает возможность выпадения любого числа, кроме пяти. Взаимоисключающее событие {5} имеет вероятность 1/6, а событие {1,2,3,4,5,6} имеет вероятность 1, то есть абсолютную достоверность.

При выполнении расчетов с использованием результатов эксперимента необходимо, чтобы всем этим элементарным событиям был присвоен номер. Это делается с использованием случайной величины . Случайная величина - это функция, которая присваивает каждому элементарному событию в пространстве выборки действительное число . Эта функция обычно обозначается заглавной буквой. В случае кубика присвоение номера некоторым элементарным событиям может быть выполнено с помощью функции идентификации . Это не всегда работает. Например, при подбрасывании монеты возможны два исхода: «орел» и «решка». В этом примере случайная переменная X может присвоить результату «орёл» число «0» ( ), а результату «решка» число «1» ( ).

Дискретные распределения вероятностей

Распределение Пуассона , дискретное распределение вероятностей.

Теория дискретной вероятности имеет дело с событиями, которые происходят в счетных пространствах выборок.

Примеры: бросание кубиков , эксперименты с колодами карт , случайное блуждание и подбрасывание монет.

Классическое определение : Первоначально вероятность возникновения события определялась как количество случаев, благоприятных для данного события, по отношению к количеству общих результатов, возможных в равновероятном пространстве выборки: см. Классическое определение вероятности .

Например, если событием является «выпадение четного числа при броске кубика», вероятность дается выражением , поскольку 3 грани из 6 имеют четные числа и каждая грань имеет одинаковую вероятность появления.

Современное определение : современное определение начинается с конечного или счетного множества, называемого пространством выборки , которое относится к множеству всех возможных результатов в классическом смысле, обозначаемого . Затем предполагается, что для каждого элемента прикреплено внутреннее значение «вероятности» , которое удовлетворяет следующим свойствам:

То есть функция вероятности f ( x ) лежит между нулем и единицей для каждого значения x в пространстве отсчетов Ω , а сумма f ( x ) по всем значениям x в пространстве отсчетов Ω равна 1. Событие определяется как любое подмножество выборочного пространства . Вероятность события определяется как

Таким образом, вероятность всего пространства выборки равна 1, а вероятность нулевого события равна 0.

Функция, отображающая точку в пространстве выборки на значение «вероятности», называется функцией массы вероятности, сокращенно pmf . Современное определение не пытается ответить, как получаются функции массы вероятности; вместо этого он строит теорию, предполагающую их существование.

Непрерывные распределения вероятностей

Нормальное распределение , непрерывное распределение вероятностей.

Теория непрерывной вероятности имеет дело с событиями, которые происходят в непрерывном пространстве выборки.

Классическое определение : классическое определение не работает, когда мы сталкиваемся с непрерывным случаем. См . Парадокс Бертрана .

Современное определение : если пространство результатов случайной величины X является набором действительных чисел ( ) или их подмножеством, тогда существует функция, называемая кумулятивной функцией распределения (или cdf ) , определяемая . То есть F ( x ) возвращает вероятность того, что X будет меньше или равно x .

Cdf обязательно удовлетворяет следующим свойствам.

  1. является монотонно неубывающая , непрерывная справа функция;

Если она абсолютно непрерывна , то есть ее производная существует и интегрирование производной снова дает нам cdf, тогда говорят , что случайная величина X имеет функцию плотности вероятности или pdf, или просто плотность

Для набора , вероятность случайной величины X , находясь в IS

Если функция плотности вероятности существует, ее можно записать как

В то время как pdf существует только для непрерывных случайных величин, cdf существует для всех случайных величин (включая дискретные случайные величины), которые принимают значения в

Эти концепции могут быть обобщены для многомерных случаев на и других непрерывных пространствах выборок.

Теоретико-мерная теория вероятностей

Смысл существование из теории меры лечения вероятности является то , что она объединяет дискретную и непрерывные случаи, и делает различие лишь вопрос , который используется мера. Кроме того, он охватывает распределения, которые не являются ни дискретными, ни непрерывными, ни их смесями.

Примером таких распределений может быть сочетание дискретных и непрерывных распределений - например, случайная величина, которая равна 0 с вероятностью 1/2 и принимает случайное значение из нормального распределения с вероятностью 1/2. Его все еще можно изучить до некоторой степени, рассматривая его как PDF-файл , где - дельта-функция Дирака .

Другие распределения могут даже не быть смесью, например, распределение Кантора не имеет ни положительной вероятности для какой-либо отдельной точки, ни плотности. Современный подход к теории вероятностей решает эти проблемы, используя теорию меры для определения вероятностного пространства :

Для любого множества (также называемого пространством выборок ) и σ-алгебры на нем мера, определенная на нем , называется вероятностной мерой, если

Если - борелевская σ-алгебра на множестве действительных чисел, то для любого cdf существует единственная вероятностная мера , и наоборот. Мера, соответствующая cdf, называется индуцированной cdf. Эта мера совпадает с pmf для дискретных переменных и pdf для непрерывных переменных, что делает теоретико-мерный подход свободным от ошибок.

Вероятность множества в а-алгебре определяется как

где интегрирование ведется по мере, индуцированной

Помимо обеспечения лучшего понимания и объединения дискретных и непрерывных вероятностей, теоретико-мерный подход также позволяет нам работать с вероятностями извне , как в теории случайных процессов . Например, для изучения броуновского движения вероятность определяется на пространстве функций.

Когда удобно работать с доминирующей мерой, теорема Радона-Никодима используется для определения плотности как производной Радона-Никодима интересующего распределения вероятностей относительно этой доминирующей меры. Дискретные плотности обычно определяются как производная от счетной меры по набору всех возможных результатов. Плотности для абсолютно непрерывных распределений обычно определяются как производная по мере Лебега . Если теорема может быть доказана в этом общем случае, она верна как для дискретных, так и для непрерывных распределений, а также для других; для дискретных и непрерывных распределений отдельные доказательства не требуются.

Классические распределения вероятностей

Некоторые случайные величины очень часто встречаются в теории вероятностей, потому что они хорошо описывают многие естественные или физические процессы. Поэтому их распределения приобрели особое значение в теории вероятностей. Некоторые фундаментальные дискретные распределения - это дискретное равномерное , Бернулли , биномиальное , отрицательное биномиальное , пуассоновское и геометрическое распределения . Важные непрерывные распределения включают непрерывное равномерное , нормальное , экспоненциальное , гамма- и бета-распределения .

Сходимость случайных величин

В теории вероятностей существует несколько понятий сходимости случайных величин . Они перечислены ниже в порядке силы, т. Е. Любое последующее понятие сходимости в списке подразумевает сходимость согласно всем предыдущим понятиям.

Слабая конвергенция
Последовательность случайных величин сходится слабо к случайной переменной , если их соответствующие кумулятивные функции распределения сходятся к интегральной функции распределения из , везде, где есть непрерывна . Слабая сходимость также называется сходимостью по распределению .
Наиболее распространенные сокращенные обозначения:
Сходимость по вероятности
Говорят, что последовательность случайных величин сходится к случайной величине по вероятности, если для любого ε> 0.
Наиболее распространенные сокращенные обозначения:
Сильная конвергенция
Последовательность случайных величин сходится к случайной переменной сильно , если . Сильная сходимость также называется почти верной сходимостью .
Наиболее распространенные сокращенные обозначения:

Как видно из названий, слабая сходимость слабее сильной. Фактически, сильная сходимость подразумевает сходимость по вероятности, а сходимость по вероятности подразумевает слабую сходимость. Обратные утверждения не всегда верны.

Закон больших чисел

Обычная интуиция подсказывает, что если честная монета подбрасывается много раз, то примерно в половине случаев она будет выпадать орлом , а в другой половине - решкой . Кроме того, тем чаще монета брошена, тем больше вероятность того , что должно быть отношение числа головок к количеству хвостов будет приближаться к единице. Современная теория вероятностей предоставляет формальную версию этой интуитивной идеи, известной как закон больших чисел . Этот закон примечателен тем, что он не предполагается в основах теории вероятностей, а вместо этого вытекает из этих основ в виде теоремы. Поскольку он связывает теоретически полученные вероятности с их реальной частотой появления в реальном мире, закон больших чисел считается столпом в истории статистической теории и имел широкое влияние.

Закон больших чисел (ЗБЧ) утверждает , что средний образец

последовательности независимых и одинаково распределенных случайных величин сходится к их общему математическому ожиданию при условии, что математическое ожидание конечно.

Именно в различных формах сходимости случайных величин разделен слабый и сильный закон больших чисел.

Слабый закон: для
Сильный закон: для

Из LLN следует, что если событие с вероятностью p наблюдается повторно во время независимых экспериментов, отношение наблюдаемой частоты этого события к общему количеству повторений сходится к p .

Например, если являются независимыми случайными величинами Бернулли, принимающими значения 1 с вероятностью p и 0 с вероятностью 1- p , то для всех i , так что почти наверняка сходится к p .

Центральная предельная теорема

«Центральная предельная теорема (ЦПТ) - один из величайших результатов математики». (Глава 18 в) Это объясняет повсеместное распространение нормального распределения в природе.

Теорема утверждает, что среднее многих независимых и одинаково распределенных случайных величин с конечной дисперсией стремится к нормальному распределению независимо от распределения, за которым следуют исходные случайные величины. Формально, пусть будут независимыми случайными величинами со средним значением и дисперсией. Тогда последовательность случайных величин

сходится по распределению к стандартной нормальной случайной величине.

Для некоторых классов случайных величин классическая центральная предельная теорема работает довольно быстро (см. Теорему Берри – Эссеена ), например, распределения с конечным первым, вторым и третьим моментами из экспоненциального семейства ; с другой стороны, для некоторых случайных величин типа « тяжелый хвост» и « толстый хвост» он работает очень медленно или может не работать вообще: в таких случаях можно использовать Обобщенную центральную предельную теорему (GCLT).

Смотрите также

Примечания

использованная литература

Первый крупный трактат, объединяющий исчисление с теорией вероятностей, первоначально на французском языке: Théorie Analytique des Probabilités .
Английский перевод Натана Моррисона появился под названием « Основы теории вероятностей» (Челси, Нью-Йорк) в 1950 году, а второе издание - в 1956 году.
Живое введение в теорию вероятностей для новичков.
  • Олав Калленберг; Вероятностные симметрии и принципы инвариантности . Спрингер-Верлаг, Нью-Йорк (2005). 510 стр. ISBN  0-387-25115-4
  • Gut, Аллан (2005). Вероятность: аспирантура . Springer-Verlag. ISBN 0-387-22833-0.