Уровень значимости критерия его ошибки - ErrorsMaster.ru - большая энциклопедия ошибок и их решений

Проверяя
гипотезы (Г.) с помощью стат. критерия,
может возникнуть одна из четырех
ситуаций: 1) Г. H₀
истинна (и поэтому H₁
– ложна) и предпринимается действие
А; 2) Г. H₁
истинна (и поэтому H₀
– ложна) и предпринимается действие
А; 3) ) Г. H₀
истинна (и поэтому H₁
– ложна) и предпринимается действие
В; 4) Г. H₁
истинна (и поэтому H₀
– ложна) и предпринимается действие
В. В ситуациях 2 и 3 получается ошибка.
Существует 2 типа ошибок. Ошибка,
состоящая в принятии Г. H₀,
когда она ложна (ошибка второго рода),
качественно отличается от ошибки,
состоящей в отвержении H₀,
когда она истинна (ошибка первого рода).
При этом числа α_i
= α_i(δ)
= P_i(δ(X)≠
H_i),
характеризующие вер. отвержения Г. H_i,
когда она верна, называют вер-ми ошибок
(i+1)-го рода критерия δ.
Набором
вер. α_i(δ)
ошибочных
решений хар-ся кач-вом критерия δ.
Правильное
решение также может быть принято двумя
способами (ситуации 1 и 4): когда Г. H₀
принимается, ибо она верна, и когда Г.
H₀
отвергается, ибо она ложна. В ситуации
1 не совершается ошибка первого рода,
в ситуации 4 – второго рода. Уровень
значимости критерия не меняет степени
риска, связанного с возможностью ошибки
второго рода, т.е. с принятием неверной
Г.. И при данном уровне значимости можно
по-разному определить критическую
область. Как правило, ее определяют
так, чтобы мощность критерия 1 – α₁(δ)
была
возможно большей: P (X]
x₁;
x₂[|H₁)
= max. Мощностью критерия δ
называется
вер. 1 – α₁(δ)
несовершения
ошибки второго рода. Чем больше мощность
критерия, тем меньше вер. принятия
неверной Г.

17. Независимые испытания. Формула Бернулли

При
решении вероятностн. задач часто
приходится сталкиваться с ситуациями,
в кот. одно и тоже испытание повторяется
многократно. В рез-те каждого опыта
может появиться или не появиться
некотор. соб. А, причем нас интересует
не рез-т каждого отдельного опыта, а
общее число появлений соб. А в рез-те
серии опытов. Модель рассматрив. ситуации
выглядит след. образом: проводится n
испытаний, в каждом из кот. соб. А может
произойти или нет. Причем вероятность
события в кажд. отдельн. испытании
постоянна, т.е. не меняется от испытания
к испытанию. Требуется определить вер.
m появлений соб. А в n испытаниях. Подобн.
задачи решаются довольно легко, если
испытания явл. независимыми. Опред.:
Неск-ко испытаний назыв. независим.
относит-но соб. А, если вер. соб. А в кажд.
из них не зависит от исходов др. испытаний.
Напр, неск-ко последоват. бросаний монет
представляют собой независим. опыты.
Производится n независим. опытов, в
кажд. из кот. может появиться или не
появ. некотор. соб.А. Вер. появл. данного
события в кажд. опыте постоянна и равна
p, а вер. непоявления=q. Требуется найти
вер. P_n(m)
того, что соб. А в этих n опытах появится
m раз. Рассмотрим событие B_m,
состоящ. в том, что соб. А появится в
этих n опытах ровно m раз. Разложим соб.
B_m
на сумму произведен. событий, состоящих
в появлении или непоявл. соб. А в определ.
опыте. Каждый вар-т появл. соб. B_m
должен состоять из m появлений соб. А
или n-m непоявл. соб. А. B_m=А₁А₂…А_m
…. Каждое произведен. соб. А должно
происходить m раз, аn-m раз. Число всех комбинаций такого
рода равно,
т.е. равно числу способов, какими можно
из n опытов выбрать m, в кот. произошло
соб. А. Вер. каждой такой комбинации по
теор. умножен. для независ. событий
равна.
Т.к. комбинации между собой несовместны,
то по теор. сложения вер. соб. B_m
равна
.
Т.о., если производится n независим.
опытов, в кажд. из кот. соб. А появляется
с вер. p, то вер. того, что соб. А появится
ровно m раз, выражается формулой

Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]

Источник

Уровень статистической значимости

При
обосновании статистического вывода
следует решить вопрос, где же проходит
линия между принятием и отвержением
нулевой гипотезы? В силу наличия в
эксперименте случайных влияний эта
граница не может быть проведена абсолютно
точно. Она базируется на понятии уровня
значимости. Уровнем значимости называется
вероятность ошибочного отклонения
нулевой гипотезы. Или, иными словами,
уровень значимости
—
это вероятность
ошибки первого рода при принятии решения.
Для обозначения этой вероятности, как
правило, употребляют либо греческую
букву α, либо латинскую букву р.
В дальнейшем мы будем
употреблять букву р.

Исторически
сложилось так, что в прикладных науках,
использующих статистику, и в частности
в психологии, считается, что низшим
уровнем статистической значимости
является уровень р =
0,05; достаточным —
уровень р =
0,01 и высшим уровень р
= 0,001. Поэтому в
статистических таблицах, которые
приводятся в приложении к учебникам по
статистике, обычно даются табличные
значения для уровней р
= 0,05, р
= 0,01 и р
= 0,001. Иногда даются
табличные значения для уровней р
— 0,025 и р
= 0,005.

Величины
0,05, 0,01 и 0,001 — это так называемые
стандартные уровни статистической
значимости. При статистическом анализе
экспериментальных данных психолог в
зависимости от задач и гипотез исследования
должен выбрать необходимый уровень
значимости. Как видим, здесь наибольшая
величина, или нижняя граница уровня
статистической значимости, равняется
0,05 — это означает, что допускается пять
ошибок в выборке из ста элементов
(случаев, испытуемых) или одна ошибка
из двадцати элементов (случаев,
испытуемых). Считается, что ни шесть, ни
семь, ни большее количество раз из ста
мы ошибиться не можем. Цена таких ошибок
будет слишком велика.

Заметим,
что в современных статистических пакетах
на ЭВМ используются не стандартные
уровни значимости, а уровни, подсчитываемые
непосредственно в процессе работы с
соответствующим статистическим
методом. Эти уровни, обозначаемые буквой
р, могут
иметь различное числовое выражение в
интервале от 0 до 1, например, р
= 0,7, р
= 0,23 или р
= 0,012. Понятно, что в
первых двух случаях полученные уровни
значимости слишком велики и говорить
о том, что результат значим нельзя. В то
же время в последнем случае результаты
значимы на уровне 12 тысячных. Это
достоверный уровень.

Правило
принятия статистического вывода таково:
на основании полученных экспериментальных
данных психолог подсчитывает по
выбранному им статистическому методу
так называемую эмпирическую статистику,
или эмпирическое значение. Эту величину
удобно обозначить как Ч_эмп.
Затем эмпирическая
статистика Ч_эмп
сравнивается с двумя
критическими величинами, которые
соответствуют уровням значимости в 5%
и в 1% для выбранного статистического
метода и которые обозначаются как Ч_кр.
Величины Ч_кр
находятся для данного
статистического метода по соответствующим
таблицам, приведенным в приложении к
любому учебнику по статистике. Эти
величины, как правило, всегда различны
и их в дальнейшем для удобства можно
назвать как Ч_кр1и
Ч_кр2.
Найденные по таблицам
величины критических значений Ч_кр1и
Ч_кр2удобно
представлять в следующей стандартной
форме записи:

Подчеркнем,
однако, что мы использовали обозначения
Ч_эмп
и Ч_кр
как сокращение слова
«число». Во всех статистических методах
приняты свои символические обозначения
всех этих величин: как подсчитанной
по соответствующему статистическому
методу эмпирической величины, так и
найденных по соответствующим таблицам
критических величин. Например, при
подсчете рангового коэффициента
корреляции Спирмена по таблице критических
значений этого коэффициента были найдены
следующие величины критических
значений, которые для этого метода
обозначаются греческой буквой ρ («ро»).
Так для р = 0,05
по таблице найдена величина ρ_кр₁
= 0,61 и для р = 0,01
величина ρ_кр₂
= 0,76.

В
принятой в дальнейшем изложении
стандартной форме записи это выглядит
следующим образом:

Теперь
нам необходимо сравнить наше эмпирическое
значение с двумя найденными по
таблицам критическими значениями.
Лучше всего это сделать, расположив все
три числа на так называемой «оси
значимости». «Ось значимости» представляет
собой прямую, на левом конце которой
располагается 0, хотя он, как правило,
не отмечается на самой этой прямой, и
слева направо идет увеличение числового
ряда. По сути дела это привычная
школьная ось абсцисс ОХ
декартовой системы
координат. Однако особенность этой оси
в том, что на ней выделено три участка,
«зоны». Одна крайняя зона называется
зоной незначимости, вторая крайняя зона
— зоной значимости, а промежуточная —
зоной неопределенности. Границами
всех трех зон являются Ч_кр1для р
= 0,05 и Ч_кр2
для р
= 0,01, как это показано
на рисунке.

В
зависимости от правила принятия решения
(правила вывода), предписанного в данном
статистическом методе возможно два
варианта.

Первый
вариант: альтернативная гипотеза
принимается, если Ч_эмп≥Ч_кр.

Или
второй вариант: альтернативная гипотеза
принимается, если Ч_эмп≤Ч_кр.

Подсчитанное
Ч_эмп
по какому либо
статистическому методу должно обязательно
попасть в одну из трех зон.

Если
эмпирическое значение попадает в зону
незначимости, то принимается гипотеза
Н₀
об отсутствии различий.

Если
Ч_эмп
попало в зону значимости,
принимается альтернативная гипотеза
Н₁
о
наличии различий,
а гипотеза Н₀
отклоняется.

Если
Ч_эмп
попадает в зону
неопределенности, перед исследователем
стоит дилемма. Так, в зависимости от
важности решаемой задачи он может
считать полученную статистическую
оценку достоверной на уровне 5%, и принять,
тем самым гипотезу Н₁,
отклонив гипотезу Н₀,
либо — недостоверной
на уровне 1%, приняв тем самым, гипотезу
Н₀.
Подчеркнем, однако, что это именно
тот случай, когда психолог может допустить
ошибки первого или второго рода. Как
уже говорилось выше, в этих обстоятельствах
лучше всего увеличить объем выборки.

Подчеркнем
также, что величина Ч_эмп
может точно совпасть
либо с Ч_кр1 либо
Ч_кр2.
В первом случае можно
считать, что оценка достоверна точно
на уровне в 5% и принять гипотезу Н₁,
или, напротив, принять гипотезу Н₀.
Во втором случае, как правило,
принимается альтернативная гипотеза
Н₁
о наличии различий,
а гипотеза Н₀
отклоняется.

Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]

Проверка статистических гипотез

Понятие о статистической гипотезе
Уровень значимости при проверке гипотезы
Критическая область
Простая гипотеза и критерии согласия
Критерий согласия (X^2) Пирсона
Примеры

п.1. Понятие о статистической гипотезе

Статистическая гипотеза – это предположение о виде распределения и свойствах случайной величины в наблюдаемой выборке данных.

Прежде всего, мы формулируем «рабочую» гипотезу. Желательно это делать не на основе полученных данных, а исходя из природы и свойств исследуемого явления.
Затем формулируется нулевая гипотеза (H_0), отвергающая нашу рабочую гипотезу.
Наша рабочая гипотеза при этом называется альтернативной гипотезой (H_1).
Получаем, что (H_0=overline{H_1}), т.е. нулевая и альтернативная гипотеза вместе составляют полную группу несовместных событий.

Основной принцип проверки гипотезы – доказательство «от противного», т.е. опровергнуть гипотезу (H_0) и тем самым доказать гипотезу (H_1).

В результате проверки гипотезы возможны 4 исхода:

	Верная гипотеза
(H_0)	(H_1)
Принятая гипотеза	(H_0)	True Negative (H_0) принята верно	False Negative (H_0) принята неверно Ошибка 2-го рода
(H_1)	False Positive (H_0) отвергнута неверно (H_1) принята неверно Ошибка 1-го рода	True Positive (H_0) отвергнута верно (H_1) принята верно

Ошибка 1-го рода – «ложная тревога».
Ошибка 2-го рода – «пропуск события».

Например:
К врачу обращается человек с некоторой жалобой.
Гипотеза (H_1) — человек болен, гипотеза (H_0) — человек здоров.
True Negative – здорового человека признают здоровым
True Positive – больного человека признают больным
False Positive – здорового человека признают больным – «ложная тревога»
False Negative – больного человека признают здоровым – «пропуск события»

Уровень значимости при проверке гипотезы

Статистический тест (статистический критерий) – это строгое математическое правило, по которому гипотеза принимается или отвергается.
В статистике разработано множество критериев: критерии согласия, критерии нормальности, критерии сдвига, критерии выбросов и т.д.

Уровень значимости – это пороговая (критическая) вероятность ошибки 1-го рода, т.е. непринятия гипотезы (H_0), когда она верна («ложная тревога»).
Требуемый уровень значимости α задает критическое значение для статистического теста.

Например:
Уровень значимости α=0,05 означает, что допускается не более чем 5%-ая вероятность ошибки.

В результате статистического теста на конкретных данных получают эмпирический уровень значимости p. Чем меньше значение p, тем сильнее аргументы против гипотезы (H_0).

Обобщив практический опыт, можно сформулировать следующие рекомендации для оценки p и выбора критического значения α:

Уровень значимости (p)	Решение о гипотезе (H_0)	Вывод для гипотезы (H_1)
(pgt 0,1)	(H_0) не может быть отклонена	Статистически достоверные доказательства не обнаружены
(0,5lt pleq 0,1)	Истинность (H_0) сомнительна, неопределенность	Доказательства обнаружены на уровне статистической тенденции
(0,01lt pleq 0,05)	Отклонение (H_0), значимость	Обнаружены статистически достоверные (значимые) доказательства
(pleq 0,01)	Отклонение (H_0), высокая значимость	Доказательства обнаружены на высоком уровне значимости

Здесь под «доказательствами» мы понимаем результаты наблюдений, свидетельствующие в пользу гипотезы (H_1).

Традиционно уровень значимости α=0,05 выбирается для небольших выборок, в которых велика вероятность ошибки 2-го рода. Для выборок с (ngeq 100) критический уровень снижают до α=0,01.

п.3. Критическая область

Критическая область – область выборочного пространства, при попадании в которую нулевая гипотеза отклоняется.
Требуемый уровень значимости α, который задается исследователем, определяет границу попадания в критическую область при верной нулевой гипотезе.

Различают 3 вида критических областей

Критическая область на чертежах заштрихована.
(K_{кр}=chi_{f(alpha)}) определяют границы критической области в зависимости от α.
Если эмпирическое значение критерия попадает в критическую область, гипотезу (H_0) отклоняют.
Пусть (K*) — эмпирическое значение критерия. Тогда:
(|K|gt K_{кр}) – гипотеза (H_0) отклоняется
(|K|leq K_{кр}) – гипотеза (H_0) не отклоняется

п.4. Простая гипотеза и критерии согласия

Пусть (x=left{x_1,x_2,…,x_nright}) – случайная выборка n объектов из множества (X), соответствующая неизвестной функции распределения (F(t)).
Простая гипотеза состоит в предположении, что неизвестная функция (F(t)) является совершенно конкретным вероятностным распределением на множестве (X).

Например:

Глядя на полученные данные эксперимента (синие точки), можно выдвинуть следующую простую гипотезу:
(H_0): данные являются выборкой из равномерного распределения на отрезке [-1;1]

Критерий согласия проверяет, согласуется ли заданная выборка с заданным распределением или с другой выборкой.

К критериям согласия относятся:

Критерий Колмогорова-Смирнова;
Критерий (X^2) Пирсона;
Критерий (omega^2) Смирнова-Крамера-фон Мизеса

п.5. Критерий согласия (X^2) Пирсона

Пусть (left{t_1,t_2,…,t_nright}) — независимые случайные величины, подчиняющиеся стандартному нормальному распределению N(0;1) (см. §63 данного справочника)
Тогда сумма квадратов этих величин: $$ x=t_1^2+t_2^2+⋯+t_n^2 $$ является случайной величиной, которая имеет распределение (X^2) с n степенями свободы.
График плотности распределения (X^2) при разных n имеет вид:
С увеличением n распределение (X^2) стремится к нормальному (согласно центральной предельной теореме – см. §64 данного справочника).

Если мы:
1) выдвигаем простую гипотезу (H_0) о том, что полученные данные являются выборкой из некоторого закона распределения (f(x));
2) выбираем в качестве теста проверки гипотезы (H_0) критерий Пирсона, —
тогда определение критической области будет основано на распределении (X^2).

Заметим, что выдвижение основной гипотезы в качестве (H_0) при проведении этого теста исторически сложилось.
В этом случае критическая область правосторонняя.

Мы задаем уровень значимости α и находим критическое значение
(X_{кр}^2=X^2(alpha,k-r-1)), где k — число вариант в исследуемом ряду, r – число параметров предполагаемого распределения.
Для этого есть специальные таблицы.
Или используем функцию ХИ2ОБР(α,k-r-1) в MS Excel (она сразу считает нужный нам правый хвост). Например, при r=0 (для равномерного распределения):

Пусть нам дан вариационный ряд с экспериментальными частотами (f_i, i=overline{1,k}).
Пусть наша гипотеза (H_0) –данные являются выборкой из закона распределения с известной плотностью распределения (p(x)).
Тогда соответствующие «теоретические частоты» (m_i=Ap(x_i)), где (x_i) – значения вариант данного ряда, A – коэффициент, который в общем случае зависит от ряда (дискретный или непрерывный).
Находим значение статистического теста: $$ X_e^2=sum_{j=1}^kfrac{(f_i-m_i)^2}{m_i} $$ Если эмпирическое значение (X_e^2) окажется в критической области, гипотеза (H_0) отвергается.
(X_e^2geq X_{кр}^2) — закон распределения не подходит (гипотеза (H_0) не принимается)
(X_e^2lt X_{кр}^2) — закон распределения подходит (гипотеза (H_0) принимается)

Например:
В эксперименте 60 раз подбрасывают игральный кубик и получают следующие результаты:

Очки, (x_i)	1	2	3	4	5	6
Частота, (f_i)	8	12	13	7	12	8

Не является ли кубик фальшивым?

Если кубик не фальшивый, то справедлива гипотеза (H_0) — частота выпадений очков подчиняется равномерному распределению: $$ p_i=frac16, i=overline{1,6} $$ При N=60 экспериментах каждая сторона теоретически должна выпасть: $$ m_i=p_icdot N=frac16cdot 60=10 $$ по 10 раз.
Строим расчетную таблицу:

(x_i)	1	2	3	4	5	6	∑
(f_i)	8	12	13	7	12	8	60
(m_i)	10	10	10	10	10	10	60
(f_i-m_i)	-2	2	3	-3	2	-2	—
(frac{(f_i-m_i)^2}{m_i})	0,4	0,4	0,9	0,9	0,4	0,4	3,4

Значение теста: $$ X_e^2=3,4 $$ Для уровня значимости α=0,05, k=6 и r=0 находим критическое значение:
$$ X_{кр}^2approx 11,1 $$ Получается, что: $$ X_e^2lt X_{кр}^2 $$ На уровне значимости α=0,05 принимается гипотеза (H_0) про равномерное распределение.
Значит, с вероятностью 95% кубик не фальшивый.

п.6. Примеры

Пример 1. В эксперименте 72 раза подбрасывают игральный кубик и получают следующие результаты:

Очки, (x_i)	1	2	3	4	5	6
Частота, (f_i)	8	12	13	7	10	22

Не является ли кубик фальшивым?

Если кубик не фальшивый, то справедлива гипотеза (H_0) — частота выпадений очков подчиняется равномерному распределению: $$ p_i=frac16, i=overline{1,6} $$ При N=72 экспериментах каждая сторона теоретически должна выпасть: $$ m_i=p_icdot N=frac16cdot 72=12 $$ по 12 раз.
Строим расчетную таблицу:

(x_i)	1	2	3	4	5	6	∑
(f_i)	8	12	13	7	10	22	72
(m_i)	12	12	12	12	12	12	72
(f_i-m_i)	-4	0	1	-5	-2	10	—
(frac{(f_i-m_i)^2}{m_i})	1,333	0,000	0,083	2,083	0,333	8,333	12,167

Значение теста: $$ X_e^2=12,167 $$ Для уровня значимости α=0,05, k=6 и r=0 находим критическое значение:
$$ X_{кр}^2approx 11,1 $$ Получается, что: $$ X_e^2gt X_{кр}^2 $$ На уровне значимости α=0,05 гипотеза (H_0) про равномерное распределение не принимается.
Значит, с вероятностью 95% кубик фальшивый.

Пример 2. Во время Второй мировой войны Лондон подвергался частым бомбардировкам. Чтобы улучшить организацию обороны, город разделили на 576 прямоугольных участков, 24 ряда по 24 прямоугольника.
В течение некоторого времени были получены следующие данные по количеству попаданий на участки:

Число попаданий, (x_i)	0	1	2	3	4	5	6	7
Количество участков, (f_i)	229	211	93	35	7	0	0	1

Проверялась гипотеза (H_0) — стрельба случайна.

Если стрельба случайна, то попадание на участок должно иметь распределение, подчиняющееся «закону редких событий» — закону Пуассона с плотностью вероятности: $$ p(k)=frac{lambda^k}{k!}e^{-lambda} $$ где (k) — число попаданий. Чтобы получить значение (lambda), нужно посчитать математическое ожидание данного распределения.
Составим расчетную таблицу:

(x_i)	0	1	2	3	4	5	6	7	∑
(f_i)	229	211	93	35	7	0	0	1	576
(x_if_i)	0	211	186	105	28	0	0	7	537

$$ lambdaapprox M(x)=frac{sum x_if_i}{N}=frac{537}{576}approx 0,932 $$ Тогда теоретические частоты будут равны: $$ m_i=Ncdot p(k) $$ Получаем:

(x_i)	0	1	2	3	4	5	6	7	∑
(f_i)	229	211	93	35	7	0	0	1	576
(p_i)	0,39365	0,36700	0,17107	0,05316	0,01239	0,00231	0,00036	0,00005	0,99999
(m_i)	226,7	211,4	98,5	30,6	7,1	1,3	0,2	0,0	576,0
(f_i-m_i)	2,3	-0,4	-5,5	4,4	-0,1	-1,3	-0,2	1,0	—
(frac{(f_i-m_i)^2}{m_i}) (результат)	0,02	0,00	0,31	0,63	0,00	1,33	0,21	34,34	36,84

Значение теста: (X_e^2=36,84)
Поскольку в ходе исследования мы нашли оценку для λ через подсчет выборочной средней, нужно уменьшить число степеней свободы на r=1, и критическое значение статистики искать для (X_{кр}^2=X^2(alpha,k-2)).
Для уровня значимости α=0,05 и k=8, r=1 находим:

(X_{кр}^2approx 12,59)
Получается, что: (X_e^2gt X_{кр}^2)
Гипотеза (H_0) не принимается.
Стрельба не случайна.

Пример 3. В предыдущем примере объединили события x={4;5;6;7} с редким числом попаданий:

Число попаданий, (x_i)	0	1	2	3	4-7
Количество участков, (f_i)	229	211	93	35	8

Проверялась гипотеза (H_0) — стрельба случайна.

Для последней объединенной варианты находим среднюю взвешенную: $$ x_5=frac{4cdot 7+5cdot 0+6cdot 0+7cdot 1}{7+1}=4,375 $$ Найдем оценку λ.

(x_i)	0	1	2	3	4,375	∑
(f_i)	229	211	93	35	8	576
(x_if_i)	0	211	186	105	35	537

$$ lambdaapprox M(x)=frac{sum x_if_i}{N}=frac{537}{576}approx 0,932 $$ Оценка не изменилась, что указывает на правильное определение средней для (x_5).
Строим расчетную таблицу для подсчета статистики:

(x_i)	0	1	2	3	4,375	∑
(f_i)	229	211	93	35	8	576
(p_i)	0,3937	0,3670	0,1711	0,0532	0,0121	0,9970
(m_i)	226,7	211,4	98,5	30,6	7,0	574,2
(f_i-m_i)	2,3	-0,4	-5,5	4,4	1,0	—
(frac{(f_i-m_i)^2}{m_i})	0,02	0,00	0,31	0,63	0,16	1,12

Значение теста: (X_e^2=1,12)
Критическое значение статистики ищем в виде (X_{кр}^2=X^2(alpha,k-2)), где α=0,05 и k=5, r=1

(X_{кр}^2approx 7,81)
Получается, что: (X_e^2lt X_{кр}^2)
Гипотеза (H_0) принимается.
Стрельба случайна.

И какой же ответ верный? Полученный в Примере 2 или в Примере 3?
Если посмотреть в расчетную таблицу для статистики (X_e^2) в Примере 2, основной вклад внесло слагаемое для (x_i=7). Оно равно 34,34 и поэтому сумма (X_e^2=36,84) в итоге велика. А в расчетной таблице Примера 3 такого выброса нет. Для объединенной варианты (x_i=4,375) слагаемое статистики равно 0,16 и сумма (X_e^2=1,12) в итоге мала.

Правильный ответ – в Примере 3.
Стрельба случайна.

Внимание!Критерий согласия (X^2) чувствителен к низкочастотным (редким) событиям и может ошибаться на таких выборках. Поэтому низкочастотные события нужно либо отбрасывать, либо объединять с другими событиями. Эта процедура называется коррекцией Йетса.

Основное следствие допущения независимых выборок заключается в том, что два выборочных средних значения, будут совершенно некоррелированными для бесконечного множества пар выборок:
(*ответ*) да
нет
Оценивание статистик выборки по параметрам генеральной совокупности называется статистическим оцениванием:
(*ответ*) нет
да
При проведении оценки значений в выборке, функция от этой величины называется определителем:
(*ответ*) нет
да
Среднее арифметическое значение выборки есть оценка среднего арифметического значения генеральной совокупности:
(*ответ*) да
нет
Среднее арифметическое из оценок, которые являются выборочными средними из значений параметра, — математическое ожидание параметра:
(*ответ*) да
нет
Средний IQ Кульмана в совокупности всех детей США равен 100:
(*ответ*) нет
да
Статистические характеристики, на которых основано статистическое оценивание, — меры центральной тенденции:
(*ответ*) нет
да
Традиционный метод оценивания коэффициента корреляции р заключается в том, чтобы найти интервальную оценку r для случайной выборки:
(*ответ*) нет
да
Альтернативная гипотеза может быть
(*ответ*) ненаправленной
(*ответ*) направленной
критической
прямой
Альтернативная гипотеза Н1 p > 0 — это гипотеза
(*ответ*) направленная
ненаправленная
экспериментальная
положительная
Альтернативная гипотеза Н1 p ≠ 0, утверждающая только факт неравенства параметра нулю и не указывающая, в каком направлении возможно отклонение от 0, — это гипотеза
(*ответ*) ненаправленная
направленная
экспериментальная
положительная
Альтернативная гипотеза Н1: p ≠ 0 утверждающая только факт неравенства параметра нулю и не указывающая, в каком направлении возможно _ от 0 — это ненаправленная гипотеза
(*ответ*) отклонение
В большинстве случаев выборки будут давать величину стандартной ошибки коэффициента корреляции от
(*ответ*) —0,33 до +0,33
—0,11 до +0,11
—0,44 до +0,44
—0,22 до +0,22
В распределении Стьюдента параметрами служат
(*ответ*) число измерений
(*ответ*) дисперсия среднего арифметического выборки
количество интервалов
частота появления признака
В теории статистического вывода применяют две группы методов
(*ответ*) оценивание
(*ответ*) статистическая проверка гипотез
интерпретация
описательная статистика
Вероятность ошибки при статистическом оценивании – это
(*ответ*) уровень значимости
уровень достоверности
теория оценивания
точечное оценивание

Материал из MachineLearning.

Перейти к: навигация, поиск

Содержание

1 Стандартная методика проверки статистических гипотез
2 Вычисление пи-величины
3 Вычисление ROC-кривой
4 Литература
5 См. также
6 Ссылки

Уровень значимости статистического теста — допустимая для данной задачи вероятность ошибки первого рода (ложноположительного решения, false positive), то есть вероятность отклонить нулевую гипотезу, когда на самом деле она верна.

Другая интерпретация:
уровень значимости — это такое (достаточно малое) значение вероятности события, при котором событие уже можно считать неслучайным.

Уровень значимости обычно обозначают греческой буквой alpha (альфа).

Стандартная методика проверки статистических гипотез

В стандартной методике проверки статистических гипотез уровень значимости фиксируется заранее, до того, как становится известной выборка
.

Чрезмерное уменьшение уровня значимости (вероятности ошибки первого рода) alpha может привести к увеличению вероятности ошибки второго рода, то есть вероятности принять нулевую гипотезу, когда на самом деле она не верна (это называется ложноотрицательным решением, false negative).
Вероятность ошибки второго рода beta связана с мощностью критерия gamma простым соотношением .
Выбор уровня значимости требует компромисса между значимостью и мощностью или
(что то же самое, но другими словами)
между вероятностями ошибок первого и второго рода.

Обычно рекомендуется выбирать уровень значимости из априорных соображений.
Однако на практике не вполне ясно, какими именно соображениями надо руководствоваться,
и выбор часто сводится к назначению одного из популярных вариантов
.
В докомпьютерную эпоху эта стандартизация позволяла сократить объём справочных статистических таблиц.
Теперь нет никаких специальных причин для выбора именно этих значений.

Существует две альтернативные методики, не требующие априорного назначения alpha .

Вычисление пи-величины

Достигаемый уровень значимости или пи-величина (p-value) — это наименьшая величина уровня значимости,
при которой нулевая гипотеза отвергается для данного значения статистики критерия .

$p(T) = min { alpha:: TinOmega_alpha },$

где
— критическая область критерия.

Другая интерпретация:
достигаемый уровень значимости или пи-величина p(T) — это вероятность, с которой (при условии истинности нулевой гипотезы) могла бы реализоваться наблюдаемая выборка, или любая другая выборка с ещё менее вероятным значением статистики .

Случайная величина имеет равномерное распределение.
Фактически, функция p(T) приводит значение статистики критерия к шкале вероятности.
Маловероятным значениям (хвостам распределения) статистики соотвествуют значения p(T) , близкие к нулю или к единице.

Вычислив значение на заданной выборке x^m ,
статистик имеет возможность решить,
является ли это значение достаточно малым, чтобы отвергнуть нулевую гипотезу.
Данная методика является более гибкой, чем стандартная.
В частности, она допускает «нестандартное решение» — продолжить наблюдения, увеличивая объём выборки, если оценка вероятности ошибки первого рода попадает в зону неуверенности, скажем, в отрезок .

Вычисление ROC-кривой

ROC-кривая (receiver operating characteristic) — это зависимость мощности от уровня значимости alpha .

Методика предполагает, что статистик укажет подходящую точку на ROC-кривой, которая соответствует компромиссу между вероятностями ошибок I и II рода.

Литература

Кобзарь А. И. Прикладная математическая статистика. Справочник для инженеров и научных работников. — М.: Физматлит, 2006.
Цейтлин Н. А. Из опыта аналитического статистика. — М.: Солар, 2006. — 905 с.
Алимов Ю. И. Альтернатива методу математической статистики. — М.: Знание, 1980.

См. также

Проверка статистических гипотез — о стандартной методике проверки статистических гипотез.
Достигаемый уровень значимости, синонимы: пи-величина, p-Value.

Ссылки

P-value — статья в англоязычной Википедии.
ROC curve — статья в англоязычной Википедии.

Уровни статистической значимости

Уровень значимости – это вероятность того, что мы сочли различия существенными, в то время как они на самом деле случайны.

Итак, уровень значимости имеет дело с вероятностью.

Уровень значимости показывает степень достоверности выявленных различий между выборками, т.е. показывает, насколько мы можем доверять тому, что различия действительно есть.

Современные научные исследования требуют обязательных расчётов уровня статистической значимости результатов.

Обычно в прикладной статистике используют 3 уровня значимости.

Уровни значимости

1. 1-й уровень значимости: р ≤ 0,05.

Это 5%-ный уровень значимости. До 5% составляет вероятность того, что мы ошибочно сделали вывод о том, что различия достоверны, в то время как они недостоверны на самом деле. Можно сказать и по-другому: мы лишь на 95% уверены в том, что различия действительно достоверны. В данном случае можно написать и так: P>0,95. Общий смысл критерия останется тем же.

2. 2-й уровень значимости: р ≤ 0,01.

Это 1%-ный уровень значимости. Вероятность ошибочного вывода о том, что различия достоверны, составляет не более 1%. Можно сказать и по-другому: мы на 99% уверены в том, что различия действительно достоверны. В данном случае можно написать и так: P>0,99. Смысл останется тем же.

3. 3-й уровень значимости: р ≤ 0,001.

Это 0,1%-ный уровень значимости. Всего 0,1% составляет вероятность того, что мы сделали ошибочный вывод о том, что различия достоверны. Это — самый надёжный вариант вывода о достоверности различий. Можно сказать и по-другому: мы на 99,9% уверены в том, что различия действительно достоверны. В данном случае можно написать и так: P>0,999. Смысл опять-таки останется тем же.

Уровень значимости – это вероятность ошибочного отклонения (отвержения) гипотезы, в то время как она на самом деле верна. Речь идёт об отклонении нулевой гипотезы Н_о.

Уровень значимости – это допустимая ошибка в нашем утверждении, в нашем выводе.

Ошибки

Возможны ошибки двух родов: первого рода (α ) и второго рода (β).

Ошибка I рода – мы отклонили нулевую гипотезу, в то время как она верна.

α – ошибка I рода.

р ≤ 0,05, уровень ошибки α ≤ 0,05

Вероятность того, что принято правильное решение: 1 – α = 0,95, или 95%.

Уровни значимости для ошибок I рода

1. α ≤ 0,05 – низший уровень

Низший уровень значимости – позволяет отклонять нулевую гипотезу, но еще не разрешает принять альтернативную.

2. α ≤ 0,01 – достаточный уровень

Достаточный уровень – позволяет отклонять нулевую гипотезу и принимать альтернативную.

Исключение:

G – критерий знаков

T – критерий Вилкоксона

U – критерий Манна – Уитни.

Для них обратное соотношение.

3. α ≤ 0,001 – высший уровень значимости.

На практике различия считают достоверными при р ≤ 0,05.

Для ненаправленной статистической гипотезы используется двусторонний критерий значимости. Он более строгий, так как проверяет различия в обе стороны: в сторону нулевой гипотезы и в сторону альтернативной. Поэтому для него используется критерий значимости 0,01.

Мощность критерия – его способность выявлять даже мелкие различия если они есть. Чем мощнее критерий, тем лучше он отвергает нулевую гипотезу и подтверждает альтернативную.

Здесь появляется понятие: ошибка II рода.

Ошибка II рода – это принятие нулевой гипотезы, хотя она не верна.

Мощность критерия: 1 – β

Чем мощнее критерий, тем он привлекательнее для исследователя. Он лучше отвергает нулевую гипотезу.

Чем привлекательны маломощные критерии?

Достоинства маломощных критериев

Простота
Широкий диапазон, по отношению к самым разным данным
Применимость к неравным по объему выборкам.
Большая информативность результатов.

Самый популярный статистический критерий в России — Т-критерий Стьюдента. Но всего в 30% статей его используют правильно, а в 70% — неправильно, т.к. не проверяют предварительно выборку на нормальность распределения.

Второй по популярности — критерий хи-квадрат, χ²

За рубежом:

Т-критерий Вилкоксона

U-критерий Манна – Уитни

χ² — хи-квадрат.

Т-критерий Стьюдента – это частный случай дисперсионного анализа для более маленькой по объёму выборки.

Источник

При работе со статистическим отчетом, научной статьей или диссертацией Вы постоянно сталкиваетесь таким термином, как уровень значимости или альфа (ошибка первого рода), чаще всего этот уровень задается относительно 5% или вероятности р=о,05. Решение о достоверности различий или «статистически значимых различиях» принимается относительно этого порогового значения. В данной статье мы предлагаем читателю разобраться в том, почему так важен этот уровень и что он значит в практическом смысле.

Определение (словарь Дж. М. Ласта):

ОШИБКА ТИПА I (ERROR TYPE I; син. alpha-error — ошибка альфа)

ошибочное отклонение нулевой гипотезы, т.е. утверждение о том, что различия существуют, тогда как их нет.

Немного о смысле уровня значимости и достовернности различий

Для понимания темы статистических ошибок мы перейдем к простейшей матрице соотношения статистики (что она нам говорит по результатам статистических тестов) и реальности. Так вот, предположим, что статистика нам говорит о существовании связей, о существовании различий. В реальности же они также существуют, тогда мы считаем этот результат правильным положительным или truth positive (ТР). Например, статистика нам говорит об отсутствии связей, об отсутствии различий, а в реальности же они действительно существуют. Такая ситуация называется ложноотрицательной или false-negative (FN). Соответственно существуют ситуации, когда статистика нам говорит о существовании каких-то определенных взаимосвязей или о существовании различий, которые в реальности не существуют. Тогда это называется ложноположительной или false-positive (FP). И последний случай касается отсутствия по данным статистических тестов того, чего в действительности не существует, различий в действительности нет. И эта ситуация именуется как truth negative (TN) или ложноотрицательный результат.

Рисунок 1. Матрица соотношения реальность-результаты статистического теста. TN (true negative) — верноотрицательный, FN (false negative) — ложноотрицательный, FP (false positive) — ложноположительный, TP (true positive) — верно позитивный.

Так вот, как видно из этой матрицы, у нас существуют 2 ситуации, в которых мы можем ошибаться: это false-positive и truth negative. Это как раз два типа ошибок, о которых я говорил в начале этого блока: о ложноотрицательной ошибке и ложноположительной. Что на самом деле это значит?

Что в какой-то ситуации мы можем пересмотреть, а в какой-то – недосмотреть.

Пересмотреть, то есть найти то, чего в действительности нет, это является false-positive – это ошибка первого рода.

Или недосмотреть, то есть упустить то, что в действительности существует в реальности, но по данным статистических тестов мы чего-то не находим – это ложноотрицательный результат или ошибка второго рода.

Давайте нанесем те термины, которые, возможно, вы уже слышали – «уровень достоверности», «достоверные различия». Что это за слово такое «достоверность»? Оно относится как раз к ошибке первого рода и обозначается буквой α. Вы наверняка знаете обозначение уровня в р=0,05. Уровень достоверности в 0,05 как раз является критическим значением для результатов большинства статистических тестов ( 5 %). Мы делаем вывод относительно этих 5 %. Что в практическом смысле это значит? Что в 95 % мы находим различия, которые действительно существуют, и в 5 % даем себе возможность переобнаружить то, чего в действительности не существует в реальности.

Что касается ошибки второго рода, то здесь это уже не 5 %. И мы задаем либо 20, либо 10 %, что-то в этом диапазоне, это ошибка в 0,2; в 0,1. И как раз мы подходим к следующему чрезвычайно важному статистическому понятию как «мощность исследования». Мощность исследования это: (1 – β), где β это ошибка второго рода. Если стандартный уровень ошибки это 0,2 и 0,1, то мы получаем, что мощность исследования в норме составляет 0,8 или 0,9 (чаще, конечно, 0,8).

NB! по уровню значимости

Уровень значимости, то есть ошибки первого рода составляет чаще всего относительно уровня в 5 %, это уровень той ошибки, при которой мы даем возможность себе «перенайти» то, что в действительности не существует. В ошибке второго рода мы даем себе определенный люфт до 20 % не обнаружить того, что в действительности существует, то есть когда статистические тесты нам скажут, что чего-то нет, а в реальности эти различия существуют.

Автор: Кирилл Мильчаков

Источник

Критерии проверки статистических гипотез

Понятие статистической гипотезы

Статистической гипотезой (гипотезой) называется любое утверждение об изучаемом законе распределения или характеристиках случайных величин.

Пример статистических гипотез:

Генеральная совокупность распределена по нормальному закону.
Дисперсии двух нормально распределенных совокупностей равны между собой.

Нулевая гипотеза (Н₀) — предположение о том, что между параметрами генеральных совокупностей нет различий, то есть эти различия носят не систематический, а случайный характер.

Пример1. Нулевая гипотеза записывается следующим образом:

H₀: µ₁=µ₂ (нулевая гипотеза заключается в том, что генеральное среднее одной совокупности равно генеральному среднему другой совокупности).

Альтернативная гипотеза (Н₁) – предположение о том, что между параметрами генеральных совокупностей есть достоверные различия.

Пример 2. Альтернативные гипотезы записываются следующим образом:

H₁: µ₁_≠µ₂ (нулевая гипотеза заключается в том, что генеральное среднее одной совокупности не равно генеральному среднему другой совокупности).
H₁: µ₁>µ₂(нулевая гипотеза заключается в том, что генеральное среднее одной совокупности больше генерального среднего другой совокупности).
H₁: µ_1<µ₂(нулевая гипотеза заключается в том, что генеральное среднее одной совокупности меньше генерального среднего другой совокупности).

Ошибки при проверке гипотез

Ошибки, допускаемые при проверке статистических гипотез, делятся на два типа:

ошибки первого рода;
ошибки второго рода.

Ошибка первого рода – отклонение гипотезы Н₀, когда она верна. Вероятность ошибки первого рода обозначается α и называется уровнем значимости.

Ошибка второго рода – принятие гипотезы Н₀, когда верна альтернативная гипотеза. Вероятность ошибки второго рода обозначается β.

Классификация критериев значимости (критериев проверки статистических гипотез)

Для проверки правдоподобия статистической гипотезы используют критерий значимости – метод проверки статистической гипотезы.

Необходимо отметить, что до получения исследователем экспериментальных данных необходимо сформулировать статистическую гипотезу и задать уровень значимости α. При выборе уровня значимости исследователь должен исходить из практических соображений, отвечая на вопрос: какую вероятность ошибки он считает допустимой. В области физической культуры и спорта чаще всего задают уровень значимости α=0,05.

Критерии проверки статистических гипотез (критерии значимости) можно разделить на три большие группы:

Критерии согласия;
Параметрические критерии;
Непараметрические критерии.

Критерии согласия называются критерии значимости, применяемые для проверки гипотезы о законе распределения генеральной совокупности, из которой взята выборка. Для проверки статистической гипотезы чаще всего используются следующие критерии согласия: критерий Шапиро-Уилки, критерий хи-квадрат, критерий Колмогорова-Смирнова.

Параметрические критерии – критерии значимости, которые служат для проверки гипотез о параметрах распределений (чаще всего нормального). Такими критериями являются: t-критерий Стьюдента (независимые выборки), t-критерий Стьюдента (связанные выборки), F-критерий Фишера (независимые выборки).

Непараметрические критерии – критерии значимости, которые для проверки статистических гипотез не использует предположений о распределении генеральной совокупности. В качестве примера таких критериев можно назвать критерий Манна-Уитни и критерий Вилкоксона.

Литература

Высшая математика и математическая статистика: учебное пособие для вузов / Под общ. ред. Г. И. Попова. – М. Физическая культура, 2007.– 368 с.
Катранов А.Г. Компьютерная обработка данных экспериментальных исследований: Учебное пособие/ А. Г. Катранов, А. В. Самсонова; СПб ГУФК им. П.Ф. Лесгафта. – СПб.: изд-во СПб ГУФК им. П.Ф. Лесгафта, 2005. – 131 с.
Основы математической статистики: Учебное пособие для ин-тов физ. культ / Под ред. В.С. Иванова.– М.: Физкультура и спорт, 1990. 176 с.

Источник

Ведение статистики, тестирование различных вариантов данных с отслеживанием эффективности изменений имеет огромное значение в отношении выбора той или иной концепции развития. Однако для анализа важно выбрать только значимые для статистики данные. В этой статье разберемся с понятием статистическая значимость в целом и в A/B тестах, а также рассмотрим, как ее оценивать и рассчитывать.

Что такое статистическая значимость

В процессе любого исследования стоит задача выявить связи между переменными, которые, как правило, характеризуются направлением, силой и надежностью. Чем выше вероятность повторного обнаружения связи, тем она надежнее.

Для проверки гипотез при проведении различных тестов применяется методика статистического анализа. Результатом оценки уровня надежности связи и проверки гипотезы выступает статистическая значимость (statistical significance). Чем меньше вероятность, тем надежнее будет связь.

Статистическая значимость – это параметр, который подтверждает, что результаты исследования были достигнуты не случайно.

Аналитик делает такое заключение, используя метод статистической проверки гипотез. По итогам теста определяется p-значение или значение уровня значимости. Чем оно меньше, тем больше будет статистическая значимость.

Обратите внимание! Слово «значимость» в данном контексте отличается по смыслу от общепринятого. Статистически значимые значения не обязательно являются значимыми или важными. Если же уровень значимости низкий, это не говорит о том, что итоги эксперимента не имеют ценности на практике.

Говоря о статистической значимости, стоит иметь ввиду:

уровень значимости дает понять, что связь между переменными не случайна;
уровень значимости в статистике может служить доказательством правдоподобности нулевой гипотезы;
в ходе проверки получаем информацию о том, что результат эксперимента является или не является статистически значимым.

Значимость статистического критерия применяют при испытаниях вакцин, эффекта новых лекарственных препаратов, изучении болезней, а также при определении, насколько успешна и эффективна работа компании, при A/B тестировании сайтов в маркетинге, а также в различных областях науки, психологии.

История понятия уровня значимости

Статистика помогает решать задачи в различных сферах много веков, однако о статистической значимости заговорили лишь в начале XX столетия. Ввел это понятие в 1925 году британский генетик и статистик сэр Рональд Фишер, который работал над методикой проверки гипотез.

В процессе анализа любого процесса есть вероятность, что произойдут те или иные явления. Итоги эксперимента, которые имели высокую вероятность стать действительными, Фишер описывал словом «значимость» (в переводе с английского significance).

Если данные были недостаточно конкретные для проверки, возникала проблема нулевой гипотезы. Для таких систем в качестве удобной для отклонения нулевой гипотезы выборки исследователем было предложено считать вероятность событий как 5%.

Как оценить статистическую значимость

Для проверки гипотезы используют статистический анализ, при этом уровень значимости определяется с помощью p-значения. Последнее показывает вероятность события, если предположить, что определенная нулевая гипотеза верна.

Весь процесс оценивания уровня значимости можно разделить на 3 стадии, которые, в свою очередь, включают следующие промежуточные этапы.

Постановка эксперимента

Формулировка гипотезы.
Установка уровня значимости, который поможет определить отклонение в распределении данных для идентификации значимого результата.

Если р-значение меньше или равно уровню значимости, данные можно считать статистически значимыми.

Выбор критерия – одностороннего или двустороннего.
Первый подходит для случаев, когда известно, в какую сторону от нормального значения могут отклониться данные. Второй критерий лучше выбирать, если трудно понять возможное направление отклонения данных от контрольной группы значений.
Определение объема выборки с использованием статистической мощности. Она показывает вероятность того, что при заданной выборке будет получен именно ожидаемый результат. Зачастую пороговая (критическая) цифра мощности – 80%.

Вычисление стандартного отклонения

Расчет стандартного отклонения, которое показывает величину разброса данных на заданной выборке.
Поиск среднего значения в каждой исследуемой группе. Для этого осуществляют сложение всех значений, а сумму делят на их количество.
Определение стандартного отклонения (x_i – µ). Разница вычисляется путем вычитания каждого полученного значения из средней величины.
Возведение полученных величин в квадрат и их суммирование. На данном этапе все числа со знаком «минус» должны исчезнуть.
Деление суммы на общий объем выборки минус 1. Единица – это генеральная совокупность, которая не учитывается в расчете.
Извлечение корня квадратного.

Определение значимости

Определение дисперсии между двумя группами данных по формуле:

s_d = √((s₁/N₁) + (s₂/N₂)), где:

s₁– стандартной отклонение в первой группе;
s₂– стандартное отклонение во второй группе;
N₁– объем выборки в первой группе;
N₂– объем выборки во 2-й группе.
Поиск t-оценки данных. С ее помощью можно переводить данные в такую форму, которая позволит использовать их в сравнении с другими значениями. T-оценка рассчитывается по формуле:

t = (µ₁ – µ₂)/s_d, где:
µ₁– среднее значение для 1-й группы;
µ₂– среднее значение для 2-й группы;
s_d– дисперсия между двумя группами.
Определение степени свободы выборки. Для этого объемы двух выборок складывают и вычитают 2.
Оценка значимости. Ее осуществляют по таблице значений t-критерия (критерия Стьюдента).
Повышение уверенности в достоверности выводов путем проведения дальнейшего исследования.

Статистическая значимость и гипотезы

Гипотеза – это теория, предположение. Если требуется проверка гипотез, всегда используется статистическая значимость. Предположение же называется гипотезой до тех пор, пока это утверждение не будет опровергнуто или доказано.

Гипотезы бывают двух типов:

нулевая гипотеза – теория, не требующая доказательств. Согласно нее, при внесении изменений ничего не произойдет, т. е. стоит задача не доказать это, а опровергнуть;
альтернативная гипотеза (исследовательская) – теория, в пользу которой нужно отклонить нулевую гипотезу, т. е. предстоит доказать, что одно решение лучше другого.

Рассмотрим, как статистическая значимость влияет на подтверждение или опровержение альтернативной гипотезы на простом примере.

У компании запущена реклама, которая стала давать меньше конверсий и продаж, чем месяц назад. По мнению маркетолога, причина кроется в рекламных креативах, которые приелись аудитории и требуют замены. Специалист предлагает заменить текстовый материал объявления. Гипотеза состоит в том, что после внесенных изменений будет достигнута главная цель эксперимента: клиенты, пришедшие на сайт с рекламы, станут покупать больше. Теперь маркетологу нужно проводить A/B тестирование обоих креативов, чтобы выяснить, какой текст объявления лучше работает. При высоком уровне достоверности данные условия позволят учитывать результаты такого тестирования.

Проверка статистических гипотез

В случаях, когда информация говорит о незначительных изменениях в сравнении с предыдущими значениями, требуется проверка гипотез. Она позволяет определить, действительно ли происходят изменения или это всего лишь результат неточности измерений.

Для этого принимают или отвергают нулевую гипотезу. Задача решается на основании соотношения p-уровня (общей статистической значимости) и α (уровня значимости).

p-уровень < α – нулевая гипотеза отвергается;
p-уровень > α – нулевая гипотеза принимается.

Чем меньше значение p-уровня, тем больше шансов, что тестовая статистика актуальна.

Критерии оценки

Уровень значимости для определения степени правдивости полученных результатов обычно устанавливается на отметке 0,05. Таким образом, интервал вероятности между разными вариантами составляет 5%.

После этого необходимо найти подходящий критерий, по которому будут оцениваться выдвинутые гипотезы: односторонний или двусторонний. Для этого применяют разные методы расчета:

t-критерий Стьюдента;
u-критерий Манна-Уитни;
w-критерий Уилкоксона;
критерий хи-квадрата Пирсона.

T-критерий Стьюдента

предполагает сравнение данных по двум вариантам исследования и позволяет делать выводы о том, по каким параметрам они отличаются. Метод актуален, когда есть сомнения, что данные располагаются ниже или выше относительно нормального распределения.

Установить, все ли данные лежат в заданном пределе, можно с помощью специальной таблицы значений. Но чаще применяют автоматический расчет t-критерия Стьюдента. Существует много калькуляторов, которые работают по схожему принципу:

Указываем вид расчета (связанные выборки или несвязанные).
Вносим данные о первой выборке в первую колонку, о второй – во вторую. В одну строку вписываем одно значение, без пропусков и пробелов. Для отделения дробной части от основной используется точка.
После заполнения обеих колонок, нажимаем кнопку запуска.

Преимущество коэффициента Стьюдента в том, что он применим для любой сферы деятельности, поэтому является самым популярным и используется на практике чаще всего.

Критерий Манна-Уитни

Рассчитывается по иному алгоритму, но предполагает использование аналогичных исходных данных. Его также зачастую рассчитывают онлайн с помощью специальных сервисов.

При расчете критерия Манна-Уитни есть особенности. Показатель применим для малых выборок или выборок с большими выбросами данных. Чем меньше совпадающих значений в выборках, тем корректнее будет работать критерий.

W-критерий Уилкоксона

Непараметрический аналог t-критерия Стьюдента для сравнения показателей до и после эксперимента, основанный на рангах. Его принцип заключается в том, что для каждого участника определяется величина изменения признака. Затем все значения упорядочиваются по абсолютной величине, рангам присваивается знак изменения, после чего «знаковые ранги» суммируются. Данный критерий применяется в медицинской статистике для сравнения показателей пациентов до лечения и после его завершения.

Критерий хи-квадрата Пирсона

Еще один непараметрический метод для оценки уровня значимости двух и более относительных показателей. Применяется для анализа таблиц сопряженности, в которых приведены данные о частотах различных исходов с учетом фактора риска.

Проблема множественного тестирования гипотез

Если сравнивать группы по различным срезам аудитории или метрикам, может возникать проблема множественного тестирования. Дело в том, что учесть абсолютно все проверки достаточно сложно. Это связано со сложностью предварительного прогнозирования их количества. К тому же, зачастую они всё равно не независимы.

Не существует универсального рецепта решения проблемы множественного тестирования гипотез. Аналитики рекомендуют руководствоваться здравым смыслом. Если протестировать много срезов по различным метрикам, любое исследование может показать якобы значимый для статистики результат. Это означает, итоги тестирования следует читать и интерпретировать с осторожностью.

Вычисление объема выборки и стандартного отклонения

После вычисления критерия оценки (критерия Стьюдента или Манна-Уитни) можно определить, какого оптимального объема должна быть выборка. При этом условии должно быть достаточное для признания достоверности результатов исследования количество людей в фокус-группах, на которых будут проверяться разные варианты.

Недостаточное количество участников эксперимента может стать причиной нехватки выборочных данных для того, чтобы сделать статистически значимый вывод и привести к повышению риска получения случайных результатов.

Объем выборки определяют с помощью статистической мощности (распространенный порог находится на уровне 80%). Этот показатель рассчитывают обычно с помощью специального калькулятора.

Затем можно переходить к вычислению уровня стандартного отклонения, по которому можно узнать величину разброса данных. Его рассчитывают по формуле:

s = √∑((x_i – µ)²/(N – 1)), где:
x_i – i-е значение или полученный результат эксперимента;
µ – среднее значение для конкретной исследуемой группы;
N – общее количество данных.

Для упрощения расчетов также используют онлайн-калькуляторы.

Значение p-уровня

Имея две гипотезы – нулевую и альтернативную, необходимо доказать одну из них (истинную) и опровергнуть другую (ложную).

Для этого основатель теории статистической значимости доктор Рональд Фишер создал определитель, с помощью которого можно было оценить, был эксперимент удачным или нет. Такой определитель получил название индекс достоверности или p-уровень (p-value).

P-уровень или уровень статистической значимости результатов – это показатель, который находится в обратной зависимости от истинного результата и отражает вероятность его ошибочной интерпретации.

Существует 3 p-уровня.

P ≤ 0,05 – обычный уровень, т. е. получен статистически значимый результат.
P ≤ 0,01 – высокий уровень, т. е. выявлена выраженная закономерность.
P ≤ 0,001 – очень высокий уровень.

Есть и другие значения статистической значимости. Например, уровень p ≥ 0,1 свидетельствует о том, что итог эксперимента не является статистически значимым.

Приближенные к статистически значимым результаты с уровнями p = 0,06 ÷ 0,09 говорят о том, что есть тенденция к существованию искомой закономерности.

Говоря проще, чем ниже значение p-уровня, тем более статистически значимым будет результат эксперимента и тем ниже вероятность ошибки.

Расчет статистической значимости

Выше в статье мы рассматривали порядок оценки уровня статистической значимости. Что касается расчета, то вручную он выполняется редко. Большинство аналитиков определяют уровень значимости с помощью онлайн-калькулятора.

В анализе участвуют две гипотезы, для каждой из которых необходимо задать количество конверсий и размер выборки. Сервис автоматически рассчитывает показатель и определяет уровень значимости результата.

Порог вероятности

Основа статистической значимости – это вероятность получения нужного значения, если принять как факт, что нулевая гипотеза верна. Если предположить, что в процессе эксперимента было получено некое число Х, то при помощи функции плотности вероятности можно узнать, будет ли вероятность получить значение Х или любое другое значение с меньшей вероятностью, чем Х.

На рисунке изображена кривая Гаусса, соответствующая функции плотности вероятности, которая отвечает распределению значений показателя, при котором верна нулевая гипотеза.

При достаточно низком значении p-уровня не имеет смысла продолжать считать, что переменные не связаны друг с другом. Это позволяет отвергнуть нулевую гипотезу и принять факт того, что связь существует.

Пороги значимости в разных областях могут значительно отличаться. Так, при исследовании вероятности существования бозона Хиггса p-значение равно 1/3,5 млн, в сфере исследования геномов его уровень может достигать 5×10^-8.

Статистическая значимость в A/B тестах

Одной из сфер широкого применения статистической значимости является маркетинг. Аналитики используют исследования для поиска оптимальных путей развития бизнеса, интернет-маркетологи оценивают эффективность рекламных кампаний и посещаемость ресурсов.

A/B тестирование – самый распространенный способ оптимизации страниц сайтов. Его результат невозможно предугадать, можно лишь строить алгоритм работы так, чтобы в конце тестирования получить максимальное количество данных, которые позволят сделать вывод о самом удачном варианте.

Важно, чтобы A/B тестирование длилось минимум 7 дней. Это позволит учесть колебания уровней конверсии и других показателей в разные дни.

Процедура A/B тестирования кажется довольно простой:

Создается две веб-страницы (оригинальная и новая).
Трафик делится между двумя версиями веб-страницы случайным образом.
Собираются данные о каждой версии страницы.
Данные анализируются и выбирается вариант с лучшими показателями, а второй отключается.

Важно, чтобы тестирование было достоверным, в противном случае неверное решение может привести к негативным последствиям для сайта.

В данном случае гипотезой считается достижение нужной достоверности. Сама достоверность будет статистической значимостью. Для тестирования гипотезы нужно сформулировать нулевую гипотезу и оценить возможность ее отклонения из-за малой вероятности.

Возможные ошибки

На этапе оценки результатов тестирования можно допустить два типа ошибок:

ошибка первого рода (type I error) – ложноположительный итог, когда кажется, что различия между показателями двух тестируемых страниц есть, на самом же деле их нет;
ошибка второго рода (type II error) – ложноотрицательный итог, когда существенная разница между тестируемыми страницами не заметна, но на самом деле она есть, при этом в тестировании видимое ее отсутствие является случайностью.

Как избежать ошибок

Избежать обоих типов ошибок можно, устанавливая при тестировании правильный размер выборки. Чтобы его определить, предстоит в настройках теста задать несколько параметров.

Чтобы исключить ложноположительные результаты, понадобится указать уровень значимости. Обычно задают значение 0,05, которое будет гарантировать достоверность, превышающую 95%.
Чтобы избежать ложноотрицательных результатов потребуется минимальная разница в ответах и вероятность обнаружить эту разницу, т. е. статистическая мощность. Последнюю по умолчанию устанавливают на уровне 80%.

Этого достаточно, чтобы вычислить требуемый размер выборки. Обычно расчеты проводятся с помощью спец. калькуляторов.

Можно ли доверять результатам на 100%

К сожалению, даже при правильно проведенной проверке гипотез могут быть допущены ошибки. Это связано с человеческим фактором, а точнее – со скрытыми предположениями, которые зачастую не имеют ничего общего с реальностью.

Вот распространенные предположения, которые приводят к ошибкам:

посетители сайта, которые просматривают разные варианты веб-страницы, не связаны друг с другом;
для всех посетителей вероятность конверсии одинакова;
показатели, которые измеряются в процессе тестирования, имеют нормальное распределение.

На что обратить внимание

Без A/B теста сложно представить развитие современного интернет-продукта. Однако, несмотря на кажущийся простым инструмент, специалисты порой на практике встречаются с подводными камнями. Если знать о них заранее, можно повысить точность тестирования.

Первый узкий момент – проблема подглядывания. Наблюдение за итогами тестирования в реальном времени выступает в качестве соблазна для активных действий, предпринимаемых раньше времени. Обработка «сырых» данных неизменно приводит к статистической погрешности. Чем чаще смотреть на промежуточные результаты A/B теста, тем больше вероятность обнаружить разницу, которой в действительности нет:

2 подглядывания с желанием завершить тестирование повышают p-значение в 2 раза;
5 подглядывания – в 3,2 раза;
10 000 подглядываний – в 12 раз и более.

Решить проблему подглядывания можно тремя способами:

Заблаговременно фиксировать размер выборки и не смотреть итоги теста до его окончания.
С помощью математических методов: комбинация Sequential experiment design и байесовского подхода к A/B-тесту.
С помощью продуктового метода, который предполагает предварительную оценку размера выборки, обеспечивающего эффективность тестирования, и принятие во внимание природы проблемы подглядывания в процессе промежуточных проверок.

Еще один подводный камень заключается в том, что от выигравшей гипотезы ожидают слишком многого. На самом деле в долгосрочной перспективе показатели победителя могут быть менее выдающимися, чем те, которые выдал тест.

Пример статистической значимости

Предположим, разработчики онлайн-игры тестируют два дизайна интерфейса. При A/B тестировании было привлечено 2000 новых игроков: по 1000 пользователей в каждую версию.

В первый день тестирования первая версия дизайна получила 370 возвратов пользователей, вторая – 510.

Как видно, вторая версия дизайна показала лучший результат возвратов. Но разработчики не были уверены, действительно ли это произошло из-за изменения продукта, а не стало следствием случайной погрешности.

Чтобы выяснить это, было принято решение рассчитать уровень значимости для наблюдаемой разницы. Поскольку метрика является простой, можно воспользоваться онлайн-сервисом и вычислить статистическую значимость автоматически.

P-значение < 0,001 в нашем примере свидетельствует о том, что при одинаковых тестовых группах вероятность увидеть наблюдаемую разницу чрезвычайно мала. Это говорит о том, что рост возвратов в первый день с высокой долей вероятности зависит от изменений продукта.

Часто задаваемые вопросы

Маркетинговые исследования статистики чаще всего проводятся путем A/B тестирования. О нем мы рассказали в одном из предыдущих разделов статьи. Однако при тестировании могут возникать некоторые трудности. Например, некорректное определение статистически значимого различия или невозможность определить, чем обусловлено различие. Решить подобные проблемы позволяет увеличение выборки и вариантов.

Оценка необходимости ранжирования данных статистики исключительно на основании статистической значимости может привести к серьезным ошибкам. Предпочтение лишь «значимых» результатов повышает риск искажения фактов.

В процессе тестирования регулярная проверка показателей с готовностью принять решение о завершении теста при обнаружении существенной разницы приводит к кумулятивному накоплению вероятных случайных моментов, при которых разница покидает пределы диапазона. В результате этого каждая новая проверка приводит к росту p-значения.

Заключение

Статистическая значимость является важным методом в ходе проведения экспериментов и исследований несмотря на риск ее неправильной интерпретации. При грамотном подходе погрешность можно свести к минимуму, используя значение в целях повышения достоверности результатов.

Олег Вершинин

Специалист по продукту

Все статьи автора

Нашли ошибку в тексте? Выделите нужный фрагмент и нажмите
ctrl
+
enter

Источник