Критерий Шовене - Chauvenet's criterion

В статистической теории критерий Шовене (названный в честь Уильяма Шовене ) - это средство оценки вероятности того, что одна часть экспериментальных данных - выброс - из набора наблюдений, вероятно, будет ложной.

Вывод

Идея, лежащая в основе критерия Шовене, состоит в том, чтобы найти полосу вероятности с центром на среднем значении нормального распределения , которая должна разумно содержать все n выборок набора данных. Таким образом, любые точки данных из n выборок, которые лежат за пределами этого диапазона вероятности, можно рассматривать как выбросы, удалять из набора данных и рассчитывать новое среднее значение и стандартное отклонение на основе оставшихся значений и нового размера выборки. Эта идентификация выбросов будет достигнута путем нахождения числа стандартных отклонений, которые соответствуют границам диапазона вероятности вокруг среднего ( ), и сравнения этого значения с абсолютным значением разницы между предполагаемыми выбросами и средним значением, деленным на стандартное отклонение выборки (уравнение 1). ${\ displaystyle D _ {\ mathrm {max}}}$

${\ displaystyle D _ {\ mathrm {max}} \ geq {\ frac {| x - {\ bar {x}} |} {s_ {x}}}}$

( 1 )

где

• ${\ displaystyle D _ {\ mathrm {max}}}$ - максимально допустимое отклонение,
• ${\ displaystyle | \ cdot |}$ это абсолютное значение,
• ${\ displaystyle x}$ значение предполагаемого выброса,
• ${\ displaystyle {\ bar {x}}}$ выборочное среднее, и
• ${\ displaystyle s_ {x}}$ стандартное отклонение выборки.

Чтобы считаться включающими все наблюдения в выборку, полоса вероятности (с центром на среднем) должна учитывать только выборки (если тогда только 2,5 выборки должны учитываться в полосе вероятности). На самом деле у нас не может быть частичных выборок, поэтому (2,5 для ) примерно . Все, что меньше, чем приблизительно (2, если ) и недействительно, потому что мы хотим найти полосу вероятности, которая содержит наблюдения, а не образцы. Короче говоря, мы ищем вероятность , равную вне выборки (уравнение 2). ${\ displaystyle n}$${\ displaystyle n - {\ tfrac {1} {2}}}$${\ displaystyle n = 3}$${\ displaystyle n - {\ tfrac {1} {2}}}$${\ displaystyle n = 3}$${\ displaystyle n}$${\ displaystyle n - {\ tfrac {1} {2}}}$${\ displaystyle n-1}$${\ displaystyle n = 3}$${\ displaystyle n}$${\ displaystyle n-1}$${\ displaystyle P}$${\ displaystyle n - {\ tfrac {1} {2}}}$${\ displaystyle n}$

${\ displaystyle P = {\ frac {n - {\ tfrac {1} {2}}} {n}} = 1 - {\ tfrac {1} {2n}}}$

( 2 )

где

• ${\ displaystyle P}$ - полоса вероятности с центром на выборочном среднем и
• ${\ displaystyle n}$ размер выборки.

Величина соответствует объединенной вероятности, представленной двумя хвостами нормального распределения, которые выходят за пределы диапазона вероятности . Чтобы найти уровень стандартного отклонения, связанный с , необходимо проанализировать только вероятность одного из хвостов нормального распределения из-за его симметрии (уравнение 3). ${\ displaystyle {\ tfrac {1} {2n}}}$${\ displaystyle P}$${\ displaystyle P}$

${\ displaystyle P_ {z} = {\ frac {1} {4n}}}$

( 3 )

где

• ${\ displaystyle P_ {z}}$ вероятность, представленная одним хвостом нормального распределения и
• ${\ displaystyle n}$ = размер выборки.

Уравнение 1 аналогично уравнению -счет (Уравнение 4). ${\ displaystyle Z}$

${\ Displaystyle Z = {\ гидроразрыва {x- \ mu} {\ sigma}}}$

( 4 )

где

• ${\ displaystyle Z}$ - оценка, ${\ displaystyle Z}$
• ${\ displaystyle x}$ это примерное значение,
• ${\ displaystyle \ mu = 0}$ - среднее значение стандартного нормального распределения, а
• ${\ displaystyle \ sigma = 1}$ - стандартное отклонение стандартного нормального распределения.

Основываясь на уравнении 4, чтобы найти (уравнение 1), найдите z-оценку, соответствующую в таблице -счетов. равен баллу для . С помощью этого метода можно определить любой размер выборки. В Excel можно найти по следующей формуле: = ABS (NORM.S.INV (1 / (4 n ))). ${\ displaystyle D _ {\ mathrm {max}}}$${\ displaystyle P_ {z}}$${\ displaystyle Z}$${\ displaystyle D _ {\ mathrm {max}}}$${\ displaystyle P_ {z}}$${\ displaystyle D _ {\ mathrm {max}}}$${\ displaystyle D _ {\ mathrm {max}}}$

Расчет

Чтобы применить критерий Шовене, сначала вычислите среднее значение и стандартное отклонение наблюдаемых данных. В зависимости от того, насколько подозрительные данные отличаются от среднего, используйте функцию нормального распределения (или ее таблицу), чтобы определить вероятность того, что данная точка данных будет соответствовать значению подозрительной точки данных. Умножьте эту вероятность на количество взятых точек данных. Если результат меньше 0,5, подозрительная точка данных может быть отброшена, т. Е. Считывание может быть отклонено, если вероятность получения конкретного отклонения от среднего меньше, чем . ${\ displaystyle {\ tfrac {1} {2n}}}$

Пример

Например, предположим, что в нескольких испытаниях экспериментально измеряется значение 9, 10, 10, 10, 11 и 50. Среднее значение составляет 16,7, а стандартное отклонение - 16,34. 50 отличается от 16,7 на 33,3, что чуть больше двух стандартных отклонений. Вероятность получения данных более чем на два стандартных отклонения от среднего составляет примерно 0,05. Было проведено шесть измерений, поэтому статистическое значение (размер данных, умноженное на вероятность) составляет 0,05 × 6 = 0,3. Поскольку 0,3 <0,5, согласно критерию Шовене, измеренное значение 50 следует отбросить (оставив новое среднее значение 10 со стандартным отклонением 0,7).

Критерий Пирса

Другой метод устранения ложных данных называется критерием Пирса . Он был разработан за несколько лет до публикации критерия Шовене и представляет собой более строгий подход к рациональному удалению резко выделяющихся данных. Другие методы , такие как тест Граббса для выбросов упоминаются под листинг останец .

Критика

Удаление резко отклоняющихся данных - спорная практика, которую не одобряют многие ученые и преподаватели; хотя критерий Шовене обеспечивает объективный и количественный метод отклонения данных, он не делает эту практику более обоснованной с научной или методологической точки зрения, особенно в небольших группах или в тех случаях, когда нельзя предположить нормальное распределение . Отказ от выбросов более приемлем в тех областях практики, где достоверно известны лежащая в основе модель измеряемого процесса и обычное распределение ошибки измерения.

Рекомендации

Библиография

• Тейлор, Джон Р. Введение в анализ ошибок . 2-е издание. Саусалито, Калифорния: Университетские научные книги, 1997. стр. 166–8.
• Барнетт, Вик и Льюис, Тоби. «Выбросы в статистических данных». 3-е издание. Чичестер: Дж. Вили и сыновья, 1994. ISBN   0-471-93094-6 .
• Айча Зербет, Михаил Никулин. Новая статистика для обнаружения выбросов в экспоненциальном случае, Коммуникации в статистике: теория и методы, 2003 г., т.32, стр. 573–584.