Dlaczego film z wygranymi nie jest próbą statystyczną

Kompilacja dziesięciu efektownych momentów może wiernie pokazywać każdy z nich i jednocześnie dawać błędne wyobrażenie o całości. Problem zaczyna się przy wyborze obserwacji. Zanim policzysz procent trafień z filmu, ustal, jakie zdarzenia mogły w ogóle do niego trafić.

Jeden zapis, dwie opowieści

Wyobraź sobie gotowy, syntetyczny dziennik stu prób. Osiemdziesiąt wyników wynosi 0, piętnaście wynosi 1, a pięć wynosi 10. Łączny zwrot to 65 jednostek. Średnia ze wszystkich obserwacji wynosi 0,65, a dodatni wynik występuje w 20% zapisów. To dane do ćwiczenia, a nie pomiar komercyjnej gry.

Teraz z tego samego dziennika wybieramy wszystkie pięć dziesiątek i pięć jedynek. Montaż zawiera dziesięć scen, każda z dodatnim wynikiem. Średnia wybranej dziesiątki to 55 / 10 = 5,5. Nie zmieniliśmy żadnej liczby. Zmieniliśmy regułę selekcji, otrzymując zupełnie inny opis.

Zdanie „w pokazanych scenach wszystkie wyniki były dodatnie” pozostaje prawdziwe. Zdanie „dodatni wynik występuje zawsze” wykracza poza materiał. Ten przeskok między opisem fragmentu a twierdzeniem o całości jest istotą problemu.

Więcej scen nie naprawia złego doboru

Jeżeli do zbioru trafiają wyłącznie wyniki spełniające próg, zebranie tysiąca takich scen nadal opisuje wyniki wybrane według progu. Duża liczebność nie usuwa systematycznego pomijania pozostałych zdarzeń. Podobnie ankieta otwarta tylko dla osób chcących pochwalić się wynikiem nie staje się losową próbą wszystkich uczestników.

W OpenIntro rozróżnia się dobór losowy, próby wygodne i problemy braku odpowiedzi. W naszym zastosowaniu odpowiada to pytaniom: skąd pochodzą nagrania, kto je przesyła i co pozostaje poza ekranem. Nie chodzi o ocenę intencji autora filmu. Nawet uczciwie podpisana kompilacja ma ograniczony zakres.^[1]

Audyt materiału w czterech pytaniach

Jeśli film pokazuje tylko rezultat końcowy, nie znamy rozkładu drogi do niego. Jeśli łączy różne tryby, jedna wspólna częstość może mieszać różne sytuacje. Jeśli ten sam fragment pojawia się w kilku zestawieniach, nie jest kilkoma niezależnymi obserwacjami.

Co można uczciwie wywnioskować

Materiał nadal bywa przydatny do opisania animacji, wyglądu symbolu lub widocznego przebiegu funkcji. Wniosek powinien zachować ten zakres. Nie wykorzystuj wybranych scen do wyznaczania RTP ani częstości zdarzeń w pełnej populacji.

Do ćwiczeń statystycznych wystarczy istniejący pełny zbiór albo jawny model edukacyjny. Nie trzeba grać za pieniądze, aby uzyskać materiał do analizy. Nasze laboratoria pokazują założenia wprost. Przewodnik o demo pomaga dodatkowo ustalić, czy dwa oglądane zapisy dotyczą tego samego produktu i trybu.