poniedziałek, 29 lipca 2013

Ciekawy kurs i znów o twierdzeniu Bayesa

Na platformie Coursera właśnie kończy się pierwszy tydzień kursu pod nazwą Case-Based Introduction to Biostatistics.

Nie mam i nigdy nie miałem nic wspólnego z biostatystyką, a głównym powodem, dla którego uczestniczę w kursie jest obecność nazwiska Bayes w sylabusie.

Muszę powiedzieć, że prowadzący Scott Zeger już w pierwszym wykładzie w bardzo przystępny sposób omówił ideę wnioskowania Bayesowskiego - narzędzia, którego używam na tym blogu do oceny niepewności wyników sondaży.

Podoba mi się to tak bardzo, że pokrótce opiszę to niżej. Najpierw przypomnę jednak o pierwszym oraz drugim wpisie o metodologii, na które warto rzucić okiem przed dalszym czytaniem.

Eksperyment polega na trzykrotnym rzucie nieznaną monetą. Nie wiemy jednak (i nie możemy podejrzeć) jak ta moneta wygląda - czy ma orzełka i na odwrocie reszkę, czy może jest podrobiona i obie strony monety mają orzełka, a może w ogóle nie ma na niej orzełka?

Stawiamy trzy hipotezy:

  1. H1: moneta nie ma strony z orzełkiem (z obu stron są reszki)
  2. H2: moneta ma dokładnie jedną stronę z orzełkiem (jest to zwykła moneta)
  3. H3: moneta ma obie strony z orzełkiem

Zaczynamy od założeń a priori. Tutaj wyrażamy nasze przekonanie, własną opinię, wiedzę wyniesioną z innych eksperymentów, itp. To oczywiście nie jest obiektywne, i wcale nie ma takie być. Założenia a priori będą zweryfikowane przez dane. Jeśli mamy wystarczająco dużo danych, to założenia a priori są nieistotne.

Powiedzmy, że sądzimy, że na 90% do eksperymentu została użyta zwykła uczciwa moneta. Z takimi spotykamy się na najczęściej. Pozostałym hipotezom możemy przypisać po 5% prawdopodobieństwa. Jest mała szansa, żeby jakieś dziwne monety trafiły do naszego portfela, ale trudno to wykluczyć. W końcu moneta to tylko kawałek metalu z wyciśniętym wzorem.

Teraz wykonujemy eksperyment i... dostaliśmy w wyniku trzy orły.

Hipotezę H1 odrzucamy natychmiast. Moneta ma przynajmniej jednego orzełka.

Dla uczciwej monety (tzn. o ile hipoteza H2 jest prawdziwa) prawdopodobieństwo wyrzucenia orła trzy razy pod rząd wynosi 1/2*1/2*1/2=1/8.
Jeżeli H3 jest prawdziwa, to prawdopodobieństwo takiego wyniku jest równe 1, bo nie ma innej możliwości niż wyrzucenie orła za każdym razem.

Zgodnie z regułą Bayesa możemy teraz aktualizować nasze przekonania co do prawdopodobieństw hipotez H2 (uczciwa moneta) i H3 (moneta z dwoma orłami).

Oto zapis tego, co wiemy:

Założenia a priori - prawdopodobieństwo, że hipoteza H2 (albo H3) jest prawdziwa:
P(H1) = 0,05
P(H2) = 0,9
P(H3) = 0,05

Likelihood (wiarogodność?) wyniku - prawdopodobieństwo zaobserwowania danych pod warunkiem, że hipoteza H2 (albo H3) jest prawdziwa.
P(Dane | H1) = 0
P(Dane | H2) = 1/8
P(Dane | H3) = 1

Prawdopodobieństwo zaobserwowania takiej serii danych:
P(Dane) = P(Dane|H1)*P(H1)+P(Dane|H2)*P(H2)+P(Dane|H3)*P(H3) = 0,1625

Teraz korzystamy z reguły Bayesa i aktualizujemy nasze przekonania:

P(H1 | Dane) = P(Dane | H1) * P(H1) / P(Dane) = 0
P(H2 | Dane) = P(Dane | H2) * P(H2) / P(Dane) = 0.6923
P(H3 | Dane) = P(Dane | H3) * P(H3) / P(Dane) = 0.3076

Co więc się stało i jak to zinterpretować?

Przed wykonaniem eksperymentu nasze zaufanie do tego, że moneta jest uczciwa wynosiło 90%. Było to bardzo prawdopodobne, bo większość monet, jakie widzimy jest uczciwa i ma orzełka na jednej stronie, a reszkę na drugiej.
Przed wykonaniem eksperymentu nasze zaufanie do tego, że moneta ma po obu stronach orła wynosiło 5%. To musi być jakaś specjalna moneta, ja takiej nie widziałem, ale nie wykluczam, że takie monety istnieją.

W wyniku eksperymentu dostaliśmy wynik - trzy orły pod rząd. To nowa wiedza i używamy jej do aktualizacji naszych przekonań.

Zastosowaliśmy regułę Bayesa i otrzymaliśmy wartości, jakie powinniśmy przyjąć jako miarę naszego zaufania. W świetle otrzymanych wyników nasze zaufanie do uczciwości monety powinno spaść do 69%, a podejrzenie, że moneta jest fałszywa wzrosnąć do 31%. Wiemy też, że nie ma możliwości aby moneta z obu stron nie miała orzełka.

Możemy teraz rzucać monetą dalej i ponownie zrewidować swoje przekonania.

Bez wchodzenia w techniczne szczegóły jest to dokładnie ta podstawowa zasada, której używam do analizy wyników sondaży w taki sposób, aby móc przedstawić stopień zaufania do wyniku danej partii.

niedziela, 28 lipca 2013

Sondaż Homo Homini dla WP 2013-07-23

Po krótkiej przerwie nadrabiam zaległości.

W międzyczasie pojawiły się wyniki sondażu Homo Homini dla Wirtualnej Polski. O swoich zastrzeżeniach co do tych wyników pisałem już wcześniej. Nie podano frekwencji (nadal zakładam, że będzie to 59% - tyle, ile wiadomo z ostatniego sondażu, który podał tę informację). Nie wierzę też w to zdanie z raportowanych wyników:
15 proc. ankietowanych nie wskazało żadnej partii. 
 Zwykłe słupki poniżej.
Wyniki mojej analizy:
Kluczowe informacje:
  • PiS przed PO na 97%
  • PSL w Sejmie na 46%, a na 77% z wynikiem lepszym od SP
  • SP ma 10% szans na wejście do parlamentu, ale 79% szans na wynik lepszy od Ruchu Palikota
  • Ruch Palikota nie wszedłby do Sejmu
Oto rozkład różnic z poprzednim sondażem z 9. lipca:
Nic ciekawego, żadna z różnic nie jest istotna.

Porównanie odchyleń od wyników sondażu z końca czerwca:
Tutaj też nic wartego odnotowania.

Komentarz do wyników w WP ma tytuł "PiS prowadzi o 6 punktów proc.!". Plus za poprawne użycie pojęcia "punkt procentowy", minus za użycie wykrzyknika. Dwa powyższe wykresy jasno pokazują, że zasadniczo nic się nie zmienia. Można to lepiej przedstawić pokazując rozkład przewagi PiS nad PO w ostatnich trzech sondażach bezpośrednio:
Pogrubiona linia to przedział 95% masy prawdopodobieństwa. Przewaga PiS nad PO jest statystycznie istotna, ale nie trzymałbym się kurczowo wartości 6 punktów procentowych. Jest 95% szans, że ta różnica w najnowszym sondażu wynosi od zera do niemal 12 punktów procentowych.

wtorek, 23 lipca 2013

Sondaż Homo Homini dla Rzeczpospolitej 2013-07-19

Sondaż Homo Homini dla Rzeczpospolitej przez ostatnie trzy razy był najpełniej raportowanym wynikiem. Homo Homini poprzez Twittera wklejało tabelkę z liczbą respondentów przypadającą na każdą opcję.

Tym razem takiej tabelki jeszcze nie widzę, a na onecie nie podano frekwencji, w związku z czym musiałem użyć wartości 59% - ostatniej, jaką znamy z sondażu CBOS.
Wynik mojej analizy:
Kluczowe informacje:

  • PiS przed PO na 97%
  • PSL w Sejmie na 53%, a z wynikiem lepszym od Ruchu Palikota na 52%
  • Ruch Palikota wszedłby do Sejmu na 46%
Oto rozkład różnic wyników poszczególnych partii z poprzednim sondażem sprzed dwóch tygodni.
Jedyna istotna różnica to znaczący spadek KNP.

To porównanie z sondażem Homo Homini dla Rzeczpospolitej z końca czerwca.
Tutaj również jedyną istotną zmianą jest spadek KNP.

Notatka z wynikami sondażu, do której linkuję powyżej jest zatytułowana "PiS pierwszy, ale słabnie". Z tych dwóch wykresów jakoś tego nie widać.

Spójrzmy na wykresy obrazujące przewagę PiS nad PO w trzech najnowszych sondażach.
Nie, nadal tej słabości jeszcze nie widać.


poniedziałek, 22 lipca 2013

Sezon ogórkowy c.d.

poprzednim wpisie zasygnalizowałem jak wygląda analiza Bayesowska na prostym zbiorze danych.

Dla przypomnienia, wróćmy do przykładu ptasiego mleczka od Wedla i pianek z Biedronki. Na ulicy zapytano osoby, które pianki wolą, były 24 obserwacje, 14 osób wskazało Wedla, 10 wolało te z Biedronki.

Przedstawiłem tam taki wykres:
I napisałem:
Patrząc inaczej na dolny wykres można pomyśleć, że jest to poziom naszego zaufania do tego, że parametr przyjmuje daną wartość po zebraniu takich odpowiedzi na ulicy. Im funkcja wyżej, tym bardziej ufamy, że właśnie taka wartość może być tą właściwą.
Pomyślałem sobie, że dla kogoś (większości), która nie ma z tym do czynienia warto byłoby pokazać na animacji w jaki sposób zmienia się zaufanie co do tego, gdzie znajduje się poszukiwany parametr, czyli to, co znajduje się na dolnym panelu powyższego wykresu.
Pierwsza klatka to założenie a priori. Nie mamy żadnej dodatkowej wiedzy, więc każdej wartości parametru przyporządkowujemy takie samo zaufanie. W innym modelu moglibyśmy założyć z góry, że pianki są nierozróżnialne.

Następnie jedna obserwacja po drugiej dodawałem do modelu wiedzę - w takiej samej kolejności, w jakiej odpowiadały osoby na filmiku. Na wykresie widzimy jak ta nowa wiedza wpływa na nasze zaufanie do położenia przedziału, w którym jest wartość parametru

Widzimy jak zmienia się przedział, w którym funkcja przyjmuje duże wartości. Kiedy liczba głosów na obie możliwości jest równa, to funkcja rozkłada się symetrycznie wokół wartości 0,5. Ale im więcej mamy obserwacji, tym "górka" jest węższa. Przypominam, że głosy dla Biedronki były kodowane jako zero, a głosy dla Wedla jako jedynka. Im więc "górka" funkcji bliżej zera, tym bardziej jesteśmy przekonani o tym, że Biedronka jest wybierana częściej.

Kolejność dodawania obserwacji nie ma znaczenia dla ostatecznego wyniku. Liczy się tylko zdobyta z danych informacja.

Oto analogiczna animacja dla filmiku o frytkach. Tutaj frytki z KFC są zakodowane jako zero, a wyrób z McDonald's jako jedynka.
Nie ma wątpliwości, że powinniśmy mieć duże zaufanie do tego, że w tym wypadku to McDonald's ma przewagę.

No i po co to wszystko?

Uznałem, że te bardzo proste przykłady będą dobrym nie-matematycznym podsumowaniem tego, co robię na koniec miesiąca we wpisach o agregacji sondaży, jak na przykład w tym na koniec czerwca.

Zasada jest dokładnie taka sama. Zaczynam od pewnego rozkładu a priori i pozwalam, aby dane aktualizowały model. Na animacji poniżej znajduje się wizualizacja uproszczonego modelu, w którym pracownia nie jest czynnikiem.

Są to wyniki poprzedniego sondażu TNS. Tutaj przedstawiony jest model, zawierający oprócz ugrupowań również opcje "nie idę" oraz "inne". TNS nie podaje wielkości próby, założone było 1000 osób i frekwencja 59% - czyli opcja "nie idę" powinna być wybierana średnio przez 41% respondentów.

Tak wyglądają wykresy po 100 obserwacjach:
Tak po 500:

a tak wygląda ostatnia klatka:


A o to cała animacja.


Czerwone linie to przedziały, w których znajduje się 95% masy prawdopodobieństwa. To odpowiedniki pudełek z wykresów znanych z innych wpisów.

Myślę, że ciekawe jest patrzeć na to, jak zmieniają się te wyniki. Wydaje się, że już przy 100 wywiadach generalny układ wyników jest ukształtowany, a od 500 obserwacji zmiany są tylko kosmetyczne.

To powód, aby innym razem wrócić do tych wykresów i napisać więcej o wielkości próby.

piątek, 19 lipca 2013

Sondaż ewybory.eu 2013-07-18

Sondaż wykonany przez portal ewybory.eu na próbie 1000 osób opisanych jako
(...)na zadeklarowanej politycznie, reprezentatywnej próbie 1000 dorosłych mieszkańców Polski
Więcej o metodologii można przeczytać w rubryce "O nas"
Dla każdego regionu (gminy, miasta) politolodzy i socjolodzy przygotowują dokładnie opracowaną metodologię. Sondaże uliczne przeprowadzone są metodą losową na próbie 1000 osób.
Zdania są ze sobą sprzeczne. Jeśli ankieterzy stoją na ulicy i pytają przechodniów, to taki sondaż nie jest losowy. Co więcej, jeśli stoją na ulicy i pytają tak długo, aż wypełnią założoną kwotę (np. 15 ankiet) zdeklarowanych politycznie osób, to tylko akumulują błąd systematyczny.

Nawet, gdybym tego nie sprawdził (sprawdziłem), to mógłbym w ciemno napisać, że sondaż robiony metodą uliczną będzie niedoszacowywał PSL. PSL swoje poparcie bierze z wsi i małych miast, gdzie trudno robić sondaże uliczne co miesiąc.

Wynik mojej analizy:
Kluczowe fakty:

  • PiS przed PO na 100%
  • cztery partie w Sejmie, ale tym razem Ruch Palikota zamiast PSL byłby w Sejmie i to na 100%
  • KNP w parlamencie na 3%
  • PSL weszłoby do Sejmu z 1% prawdopodobieństwem
Spójrzmy na różnice z poprzednim sondażem sprzed miesiąca:
Żadna z tych różnic nie była istotna statystycznie.

Oto jak wyglądają różnice z sondażem z końca maja:
Tutaj spadek SP jest statystycznie istotny, reszta to szum.

Zobaczmy na koniec jak zmienia się przewaga (rozstęp) pomiędzy poparciem dla PiS, a PO poprzez ostatnie trzy sondaże:

czwartek, 18 lipca 2013

Sezon ogórkowy


Dziś trochę nie na serio. Pozwolę sobie na analizę głupot z sond ulicznych, jakie zaczęły się pojawiać na portalu gazeta.pl, za pomocą tych samych metod, których używam do sondaży wyborczych.

Pepsi vs Cola i przydługi wstęp

Pierwsza była próba napojów: czy lepszy smak ma Pepsi, czy Coca-Cola:


Próba nie była losowa, nie była przeprowadzona w kontrolowanych warunkach, nie była podwójnie ślepa (prowadzący wiedział co jest w którym kubeczku) i można by mieć do niej jeszcze wiele innych zastrzeżeń.

Niemniej jednak zebrano dane: zapytano 11 osób, czterem osobom bardziej smakowała Pepsi, siedem wolało Coca-Colę (dla niecierpliwych: wyniki są od 2:51).

Czy coś nam to mówi? Wydaje się, że Coca-Cola jest zdecydowanie preferowana, bo woli ją prawie dwa razy więcej osób niż Pepsi.

Taki wybór między dwoma alternatywami można przełożyć na model, w którym wybieramy "1" albo "0". Jeśli do Coli przyporządkujemy zero, a do Pepsi jedynkę, to z tego badania mamy 4 obserwacje z jedynką i 7 obserwacji z zerem. Wartość oczekiwana wynosi więc (4*1+7*0)/11 = 4/11 ≈ 0,36. Dalej będziemy nazywali tę wielkość parametrem. Gdyby wszyscy wybrali Pepsi, to parametr byłby równy 1, gdyby wszyscy wybrali Colę, to parametr byłby równy 0. W sytuacji gdy oba napoje wybiera taka sama liczba osób i poparcie rozkłada się po połowie parametr byłby równy 0,5.

(Tym, którzy nadal czytają i jeszcze się nie boją proponuję wyszukanie sobie w tym momencie hasła "proces Bernoulliego")

Powiemy, że jeden z napojów jest istotnie chętniej wybierany, jeśli wielkość parametru będzie daleko od wartości 0,5 - blisko zera albo blisko jedynki.

Wartość 0,36 jest bliżej zera niż jedynki, więc skłaniamy się, ku zdaniu, że Cola smakuje ankietowanym lepiej.

Ale czy jest to istotna różnica?

Prosta analiza Bayesowska dałaby nam wykresy takie, jak poniżej:

Na górnym wykresie mamy naszą wiedzę przed wykonaniem badania, a priori. Niczego nie wiemy, więc każda wartość parametru pomiędzy 0 i 1 jest jednakowo prawdopodobna.

Na środkowym panelu przedstawiona jest funkcja wiarogodności wynikająca z zaobserwowanych danych: 11 obserwacji, z których 4 wybrały 1 (Pepsi).

Na dolnym panelu jest przedstawiona wiedza o parametrze po wykonaniu badania - po aktualizacji wiedzy a priori o informację wynikającą z danych, zgodnie z regułą Bayesa.

Mamy tu informację, że jest bardzo mało prawdopodobne, aby wszyscy lubili Colę (blisko zera wartość funkcji spada do zera). Jest też bardzo mało prawdopodobne, aby wszyscy lubili Pepsi (wartość funkcji jest bliska zeru również w otoczeniu jedynki). Maksimum funkcji znajduje się w punkcie 0,36 - równym wartości oczekiwanej parametru z naszych danych.

Patrząc inaczej na dolny wykres można pomyśleć, że jest to poziom naszego zaufania do tego, że parametr przyjmuje daną wartość po zebraniu takich odpowiedzi na ulicy. Im funkcja wyżej, tym bardziej ufamy, że właśnie taka wartość może być tą właściwą.

Typowym progiem istotności przy podawaniu wyników analizy statystycznej jest 95%. Wartość 95% została wyssana z palca osobiście przez Rolanda Fishera i tak już zostało do dziś. W powtarzalnych eksperymentach (np. testowanie żarówek na stacji kontroli jakości w fabryce) oznacza to, że pomylimy się średnio w 5% razy - raz na dwadzieścia prób.

Na dolnym panelu mamy wyrysowane również, w jakim przedziale na 95% znajduje się nasz parametr.
Są to wartości to od 0,14 do 0,64. Ten przedział obejmuje wartość 0,5 więc uwzględniając niepewność wynikającą z błędu statystycznego przy tej wielkości próby nie można powiedzieć, aby Cola była istotnie lepsza od Pepsi przy 95% przedziale wiarogodności.

Wielkość próby ma znaczenie. Gdyby odpytano nie 11, a 1100 osób i otrzymano takie same proporcje: 400 osób za Pepsi, 700 osób za Coca-Colą, to wnioski byłyby zupełnie inne. Wyżej wymieniony przedział, w którym na 95% jest nasz parametr byłby od 0,34 do 0,39. Nie ma w nim wartości 0,5, więc moglibyśmy zdecydowanie stwierdzić, że Cola jest wybierana częściej.

Ale nie ma 1100 obserwacji, tylko jest ich nadal 11.

Mógłbym też przeprowadzić taką analizę w identyczny sposób, jak traktuję dane z sondaży i otrzymać poniższe wykresy:

Na dolnym wykresie przewaga Coli nie jest istotnie różna od zera mimo, że żółte pudełko jest przesunięte w prawo.

Uzbrojeni w wiedzę z tego przydługiego wstępu możemy szybko przejść do analizy pozostałych filmików.

Ptasie mleczko Wedel czy Biedronka?

Dla ciekawych wyniki od 2:37.
Zebrano 24 obserwacje, 14 osób wybrało produkt Wedla, 10 osób wolało pianki z Biedronki. W tym przypadku już na pierwszy rzut oka wydaje się, że różnica jest nieistotna.

Na poniższym wykresie 0 oznacza Biedronkę, a 1 - Wedla.
Tak, znowu otrzymaliśmy wynik posterior, który obejmuje wartość 0,5 - nie możemy więc powiedzieć, że różnica jest istotna.

Tak można inaczej przedstawić obserwacje i rozrzut wynikający z błędu statystycznego i nikłej wielkości próby:
Przewaga Wedla nie jest istotnie różna od zera.

Frytki KFC i McDonald's

Oto filmik, wyniki dla niecierpliwych są w 2:59


Tym razem jest 20 obserwacji, cztery osoby wybrały KFC, a 16 wolało McDonald's. Nie było odpowiedzi "żadne, frytki są niejadalne" - a to byłby mój wybór.

KFC zakodowałem jako zero, a McDonald's jako jeden. Wyniki z analizy bayesowskiej wyglądają tak:
O, i to już jest coś zupełnie innego. Cały wykres posterior jest przesunięty w prawo, w stronę McDonald's. Co więcej, obszar 95% masy gęstości tej funkcji nie obejmuje wartości 0,5 - zaczyna się od 0,6.
Możemy więc powiedzieć, że frytki z McDonald's były wybierane istotnie częściej niż te z KFC przy 95% poziomie wiarogodności.

Oto jak te same wyniki wyglądałyby na wykresach pudełkowych:
Przewaga jest istotna statystycznie i mamy potwierdzenie tego na wykresach.

środa, 17 lipca 2013

Sondaż TNS dla TVP Info 2013-07-15

Wyniki sondaży TNS dla TVP.

W tym badaniu nigdy nie jest podawana wielkość próby. Przyjmuję więc typowe 1000 osób. Podobnie nie podaje się frekwencji, więc użyłem ostatniej znanej wartości: 59% z badania CBOS.
To poparcie 40% dla PiS wygląda imponująco w porównaniu z ostatnimi wynikami CBOS (26%) albo Homo Homini (33%). Różnica bierze się z tego, że tutaj procent liczony jest tylko od zdecydowanych osób. Na przykład w badaniu CBOS z 11. lipca aż 31% osób nie było zdecydowanych.

Wynik mojej analizy:
Kluczowe informacje:

  • PiS przed PO na 95%
  • Ruch Palikota w Sejmie na 83%
  • W Sejmie byłyby tylko cztery partie
W notatce z wynikami sondażu umieszczono informację, która trafiła do tytułu:
- To już stała, ustabilizowana różnica – komentuje wyniki najnowszego sondażu dr Bartłomiej Biskup z Instytutu Nauk Politycznych Uniwersytetu Warszawskiego.
Zobaczmy:
Wykres robiony na szybko i trochę techniczny, ale faktycznie - przewaga PiS nad PO w lipcu i czerwcu jest podobna i większa niż w maju.

Zobaczmy, jak wyglądają zmiany w poparciu poszczególnych partii w porównaniu z sondażem z czerwca.
Istotnie statystyczny jest spadek poparcia dla KNP. Pozostałe są nieodróżnialne od zera przy 95% poziomie wiarygodności.

A to porównanie obecnego sondażu z wynikami sprzed dwóch miesięcy, gdy uruchamiałem ten blog.
Tutaj już jest nieco ciekawiej. Wzrost PiS i spadek PSL są statystycznie istotne.

sobota, 13 lipca 2013

Sondaż Homo Homini dla WP 2013-07-09

Na koniec tygodnia prawdziwy maraton. Tym razem sondaż Homo Homini dla Wirtualnej Polski.

Nie podano frekwencji, zakładam więc, że wyniesie 59% - tyle, co w (chronologicznie) poprzednim sondażu CBOS.
W komentarzu podającym wyniki sondażu stoi napisane
14 proc. ankietowanych nie wskazało żadnej partii.
...i to nie wierzę. Prędzej byłbym w stanie uwierzyć w stwierdzenie "14% ankietowanych nie wskazało żadnej partii spośród tych sześciu".

Wynik mojej analizy:
Kluczowe informacje:

  • PiS na pewno przed PO
  • PO na pewno przed SLD, SLD na pewno przed PSL
  • PSL w Sejmie na 45%, a na 95% z wynikiem lepszym od Ruchu Palikota
  • Ruch Palikota nie wejdzie do parlamentu
Sprawdźmy rozkład różnic z poprzednim sondażem HH dla Wirtualnej Polski:
Nie ma nic ciekawego, żadna z nich nie jest statystycznie istotna.
Również nic się istotnie nie zmieniło od miesiąca.

piątek, 12 lipca 2013

Sondaż CBOS 2013-07-11

Kolejny sondaż w tym tygodniu to wyniki z CBOS.

Badanie wykonano na próbie 1005 osób, frekwencja wyniosłaby 59% - nierealne :). W wynikach zaprezentowanych na portalu gazeta.pl jest obrzydliwy wykres i informacja:
Podstawą procentowania są wszyscy ci, którzy deklarują, że na pewno wezmą udział w wyborach.
 Jasno i klarownie.
Wynik analizy z uwzględnieniem błędu statystycznego:
Kluczowe informacje:
  • PiS przed PO na 75%
  • SLD w Sejmie na 98%
  • PSL weszłoby do parlamentu na 51%, na 95% byłoby z wynikiem lepszym od Ruchu Palikota
  • Ruch Palikota nie miałby szans na obecność w Sejmie
Oto wykres różnic pomiędzy tym, a poprzednim sondażem CBOS
Żadna z różnic nie jest statystycznie istotna. Porównajmy więc obecny sondaż z tym, co było dwa miesiące temu.
Tu również żadna z różnic nie jest istotna.

czwartek, 11 lipca 2013

Sondaż TNS 2013-07-11

Nowy sondaż z TNS. Próba wyniosła 963 respondentów, a 538 z nich były zdecydowane głosować - czyli 55%. Myślę, że to sporo.
Wynik mojej analizy z uwzględnieniem poziomu błędów losowej próby:
Kluczowe informacje:
  • PiS przed PO na 88%
  • Ruch Palikota w Sejmie na 49%, na 74% z wynikiem lepszym od PSL
  • PSL weszłoby do parlamentu na 14%
  • ...a pozostali nie
Na gazeta.pl notatkę o tym sondażu zatytułowano "PO odrabia straty do PiS". Czy faktycznie? Oto porównanie z poprzednim sondażem TNS sprzed miesiąca. Wykres z rozkładem różnic:
PO ma lepszy wynik, jednak nie jest statystycznie istotny, tak jak żadna z różnic.

A to porównanie z sondażem sprzed dwóch miesięcy:
Statystycznie żadna z różnic nie jest istotna. Bardziej formalnie to znaczy: na 95% nie można wykluczyć, że różnica pomiędzy aktualnym sondażem, a sondażem sprzed miesiąca jest różna od zera.

Widać jednak, że PiS i PO zyskały, być może kosztem Ruchu Palikota i SLD.

środa, 10 lipca 2013

Sondaż Homo Homini dla Rzeczpospolitej 2013-07-10

Nadal o Homo Homini. Dziś pojawiły się wyniki sondażu dla Rzeczpospolitej. Na szczęście znów w bardzo dokładnej formie - rozpisane dla każdego wywiadu. Jestem więc w rozterce. Mam za co zganić HH i za co ich pochwalić.

Przy próbie 1100 do wyborów chciałoby iść 509 osób - 46%.

Wynik mojej analizy z uwzględnieniem wpływu błędów:
Kluczowe informacje:

  • PiS przed PO na 98%
  • PO przed SLD na 100% (zachodzące na siebie "wąsy" mogą mylić - tam są pojedyncze obserwacje)
  • PSL w Sejmie na 45% oraz na 70% z wynikiem lepszym niż Ruch Palikota
  • RP weszłoby do parlamentu na 16%
W opisie wyników komentujący silą się często na stwierdzenia "PiS zyskało 1 punkt procentowy, a PO tyle samo straciło". Nie warto tracić czasu na czytanie takich notatek, to wypełniacz informacyjny. 

Oto nowy wykres. Porównamy rozkład różnic wyników obecnego sondażu z poprzednim z 25. czerwca
Różnica dla żadnej z partii nie jest statystycznie istotna, wszystko szum. Najbliżej wykazania istotnie straty był tym razem Ruch Palikota, ale nadal to za mała zmiana, aby powiedzieć, że z 95% pewnością wynik RP w obecnym sondażu jest gorszy niż dwa tygodnie temu.

wtorek, 9 lipca 2013

Homo Homini - oj nieładnie

Taką wiadomość przeoczyłem! Wirtualna Polska podała:

Według najnowszego sondażu przeprowadzonego przez Instytut Badania Opinii Homo Homini, trzecie miejsce pod względem popularności wśród polskich partii politycznych zajmują obecnie Republikanie Przemysława Wiplera. W opinii dr. Norberta Maliszewskiego, specjalisty ds. marketingu politycznego z Uniwersytetu Warszawskiego, wysokie poparcie to efekt triku sondażowego - zadania pytania sugerującego odpowiedź, ale również wyraz niechęci wyborców wobec obecnej sceny politycznej.

Nie będę cytował pozostałej części, ale moim zdaniem taki wynik to przede wszystkim wynik triku w układaniu ankiety i treści pytań. Nie jest łatwo ułożyć ankietę (nawet krótką), tak aby uniknąć sugerowania respondentom odpowiedzi, choćby i nieświadomego i niezamierzonego. Są na ten temat całe książki. Nie mam wątpliwości, że w tym wypadku to było świadome, zamierzone, nieetyczne i wykonane przez kogoś, kto takie książki przeczytał i zrobił to z pełną premedytacją. 

Republikanie wydali oświadczenie, z którego wynika, że sami odpowiadają za treść pytań, nigdy ich nie ukrywali, a ważniejsze od pytania o preferencje wyborczych były wcześniejsze pytania o zagadnienia programowe. 
No i fajnie, ale w towarzystwie takich pytań to jedno pytanie o preferencje wyborcze w ogóle nie powinno się znaleźć na ankiecie, a już na pewno nie jako ostatnie.

Homo Homini też wydało oświadczenie. Powinni się wstydzić, że zgodzili się to przeprowadzić.

Nie rozumiem jednak też drugiej rzeczy - nie widziałem wyniku takiego sondażu. W okolicy 25. czerwca pojawiły sie dwa wyniki z Homo Homini: sondaż dla Rzeczpospolitej (z dokładnymi wynikami - za co mogłem ich z czystym sumieniem pochwalić) oraz dla Wirtualnej Polski.

W żadnym nie ma ugrupowania o nazwie Republikanie.

Gdzie znaleźć takie informacje?

czwartek, 4 lipca 2013

Sondaż SMG/KRC 2013-07-04

Sondaż SMG/KRC Millward Brown (jak ta firma się właściwie nazywa?). Nie znamy frekwencji, nie wiemy jakie wyniki miały partie poniżej progu 5%. No trudno.
W TVN24 wielkie podniecenie z powodu 9 punktów procentowych przewagi PiS nad PO. Przy próbie 1001 osób i założeniu 49% frekwencji (ostatnia znana wartość z sondażu Homo Homini) to różnica wskazań wśród 45 osób. Nie wiemy na kogo zagłosowałoby 90 osób - brakujące 18% na wykresie.

Wynik mojej analizy:
Kluczowe informacje:

  • PiS przed PO na 100%
  • SLD przed Ruchem Palikota na 99%
  • Ruch Palikota z lepszym wynikiem od PSL na 73%, w parlamencie na 83%
  • PSL w Sejmie na 50%