20 trafień na 100 prób: jak czytać przedział ufności

Dwadzieścia zaobserwowanych zdarzeń w stu próbach daje częstość 20%. To dokładny opis zapisanej próbki, lecz niekoniecznie dokładna wartość prawdopodobieństwa w modelu. Przedział ufności pomaga pokazać niepewność oszacowania przy jasno określonych założeniach.

Najpierw zdefiniuj zdarzenie

Użyjmy niezależnych losowań oznaczonego żetonu ze zwracaniem. Skład worka jest stały, lecz nie znamy udziału oznaczonych żetonów. Wymyślona próbka zawiera 100 losowań i 20 oznaczonych wyników. Każda próba ma dwa możliwe rozstrzygnięcia: zdarzenie wystąpiło albo nie.

W analizie zapisu gry potrzebna byłaby równie ścisła definicja. Dodatni zwrot, zwrot większy od kosztu i uruchomienie funkcji to różne zdarzenia. Nie wolno zmieniać definicji w połowie obliczenia. Ten przykład nie ustala parametrów żadnego slotu.

Policzmy przedział Wilsona

Dla częstości p̂ = 0,20, liczby prób n = 100 i poziomu 95% przyjmujemy z = 1,96. Wzór Wilsona wykorzystuje mianownik d = 1 + z²/n. Środek przedziału to (p̂ + z²/(2n)) / d. Połówka jego szerokości to z × √(p̂ × (1 − p̂)/n + z²/(4n²)) / d.

Po podstawieniu otrzymujemy środek około 0,2111 i połówkę szerokości około 0,0777. Granice wynoszą około 0,1334 i 0,2888, czyli od 13,34% do 28,88%. Widać, ile informacji gubi zdanie „szansa wynosi 20%”, jeśli nie zaznaczono, że chodzi o estymację z próbki.

Metodę i wzór opisuje podręcznik NIST. Wilson nie jest tym samym co prosty symetryczny wzór p̂ plus/minus margines liczony wyłącznie z p̂. Dlatego środek otrzymanego przedziału nie musi być równy dokładnie 20%.^[2]

Czego dotyczy poziom 95%

Interpretacja odnosi się do procedury powtarzanej na wielu nowych próbkach. Przy odpowiednich założeniach przedziały wyznaczane tą metodą obejmują stały parametr w przybliżeniu w 95% takich powtórzeń. Nie oznacza to, że 95% przyszłych pojedynczych wyników wpadnie między 13,34% a 28,88%. Pojedynczy wynik naszego losowania jest przecież tylko zerem albo jedynką.

Nie odczytujemy też tego jako gwarancji dla następnej setki prób. Kolejna próbka może mieć inną częstość. Poziom ufności nie jest obietnicą trafnego wyniku w każdym badaniu, a przybliżona zgodność procedury zależy od modelu i liczebności.

Kiedy rachunek daje pozorną pewność

Przedział nie naprawi wybierania wyłącznie ciekawych fragmentów filmu. Nie skoryguje nieznanych zmian konfiguracji. Nie uwzględni automatycznie zależności między etapami jednej funkcji. Zanim go zastosujesz, trzeba ocenić, czy obserwacje można traktować jako niezależne próby o wspólnym prawdopodobieństwie.

W raporcie zapisz definicję zdarzenia, licznik 20, mianownik 100, metodę Wilsona, poziom 95% i ograniczenia danych. Taki komplet jest użyteczniejszy od samego procentu. Jeśli brakuje podstawowych założeń, poprawną decyzją jest pozostawienie parametru nieustalonego, a nie dokładanie kolejnych miejsc po przecinku.