Перевірка гіпотез та p-значення простими словами

Уявіть, що ви змінили дизайн сайту, і продажі трохи зросли. Це справді результат нового дизайну — чи просто випадковість? Відповісти на такі питання допомагає перевірка гіпотез, один із наріжних каменів статистики.

Основна ідея

Перевірка гіпотез — це формальний спосіб вирішити, чи є спостережуваний ефект реальним, чи він міг виникнути суто випадково. Логіка нагадує презумпцію невинуватості в суді: ми виходимо з припущення, що ефекту немає, і відкидаємо його лише за наявності переконливих доказів.

Дві гіпотези

Нульова гіпотеза (H0) стверджує, що ефекту немає: новий дизайн не впливає на продажі, різниця між групами випадкова.

Альтернативна гіпотеза (H1) стверджує протилежне: ефект існує.

Мета аналізу — зрозуміти, чи достатньо в нас доказів, щоб відкинути нульову гіпотезу на користь альтернативної.

Що таке p-значення

p-значення — це ймовірність побачити такий самий або ще сильніший результат, якби нульова гіпотеза була правдою, тобто якби насправді жодного ефекту не було.

Простими словами: маленьке p-значення означає, що спостережуваний результат був би дуже малоймовірним за чистої випадковості, а отже, ефект, схоже, справжній. Велике p-значення означає, що такий результат легко міг виникнути й випадково.

Рівень значущості

Заздалегідь обирають поріг, з яким порівнюють p-значення. Найпоширеніший — 0,05.

• Якщо p-значення менше за 0,05, результат вважають статистично значущим і нульову гіпотезу відкидають.
• Якщо p-значення більше за 0,05, доказів недостатньо, і нульову гіпотезу не відкидають.

Поріг 0,05 — це домовленість, а не закон природи. У медицині чи фізиці, де ціна помилки висока, використовують значно суворіші пороги.

Найпоширеніші помилки в тлумаченні

Навколо p-значення існує багато плутанини, тож варто запамʼятати кілька важливих застережень.

По-перше, p-значення не є ймовірністю того, що нульова гіпотеза правдива. Воно говорить про ймовірність даних за умови, що гіпотеза правдива, а не навпаки.

По-друге, статистична значущість не дорівнює практичній важливості. На дуже великій вибірці навіть крихітний, нікому не потрібний ефект може виявитися «значущим».

По-третє, результат «незначущий» не доводить, що ефекту немає. Можливо, вибірка була замалою, щоб його виявити.

Помилки першого та другого роду

Рішення на основі даних завжди ризиковане. Помилка першого роду — коли ми бачимо ефект, якого насправді немає (хибна тривога). Помилка другого роду — коли ми не помічаємо реальний ефект. Обираючи поріг значущості, ми фактично балансуємо між цими двома ризиками.

Підсумок

Перевірка гіпотез допомагає відрізнити реальний ефект від випадковості. Ми формулюємо нульову гіпотезу про відсутність ефекту й перевіряємо, наскільки наші дані з нею сумісні за допомогою p-значення. Головне — тлумачити його правильно: маленьке p-значення свідчить, що випадковість малоймовірна, але не доводить важливості ефекту й не є ймовірністю правдивості гіпотези. Ця обережність відрізняє грамотного аналітика від того, хто сліпо женеться за «значущими» результатами.