Sondaż TNS dla TVP Info 2013-09-12

Kolejny z sondaży w tym miesiącu to rezultat TNS Polska dla TVP.

Nie podano frekwencji. Można natomiast przeczytać, że:

Sondaż przeprowadzono metodą wywiadu telefonicznego 11 i 12 września na grupie 1000 dorosłych mieszkańców Polski, chcących wziąć udział w wyborach i wiedzących, na kogo głosować.

To by znaczyło, że dzwonili tak długo, aż zebrali 1000 odpowiedzi - tak, jak robi to portal ewybory.eu. Jeśli tak było, to fatalnie.
Nie wiem, czy ktoś tego podsumowania metodologicznego po prostu ułomnie nie streścił, bo miesiąc temu było tak:

Badanie TNS Polska przeprowadzono 13 sierpnia na grupie 1000 osób. Błąd może wynieść +/- 3,1 proc. Podstawą procentowania są osoby, które deklarują chęć udziału w wyborach i są zdecydowane, na kogo oddać głos.

Zobaczymy, co będzie za miesiąc. Tymczasem do mojej analizy przyjąłem frekwencję 54% - z wykonanego w tym samym czasie sondażu CBOS.

Kluczowe informacje:

• PiS przed PO na 99%
• RP oraz PSL w Sejmie na 82%, jedno przed drugim na 47%
• RP oraz PSL na pewno przed KNP
• KNP bez szans na wejście do parlamentu

Oto porównanie z poprzednim sondażem:

Wzrost poparcia dla Ruchu Palikota jest statystycznie istotny na poziomie 95%.

A to porównanie z sondażem sprzed dwóch miesięcy:

Tutaj wzrost poparcia dla PSL w ciągu ostatnich dwóch miesięcy jest istotny.

Sprawdzimy jak zmieniała się różnica pomiędzy poparciem ankietowanych dla PiS oraz PO w ostatnich trzech sondażach:

Przewaga PiS jest istotnie różna od zera, ale nie ma jasnego trendu. Dokładniej wygląda to tak:

Kluczowe informacje:

• w sierpniu i we wrześniu przewaga PiS nad PO była istotnie różna od zera
• przewaga PiS we wrześniu na 95% wynosi od 1 do 16 punktów procentowych
• nie ma trendu

Sondaż CBOS 2013-09-12

Kolejne wyniki pochodzą z sondażu CBOS, który tym razem nie wzbudził aż takich emocji, jak miesiąc temu.

Pod wpisem z wynikami ostatniego sondażu Homo Homini pojawił się komentarz anonimowego użytkownika z linkiem do porównania sondażów HH, CBOS z faktycznymi wynikami wyborów. Dzięki, to ciekawy wpis. Na pewno do niego wkrótce wrócę, bo po pierwszym i drugim przeczytaniu mam jeszcze kilka wątpliwości, ale muszę się nad nimi głębiej zastanowić.
Jest tam wspomniany pan Wojciech Szacki, który miesiąc temu sam zabrał głos w sprawie sondaży CBOS oraz TNS. Jego wyliczenia się zgadzają, ale uzasadnieniami z drugiej części artykułu zupełnie mnie nie przekonał.

Wyniki mojej analizy:

Kluczowe informacje:

• PO ma 72% szans na wynik lepszy od PiS
• SLD na pewno w Sejmie
• PSL weszłoby do parlamentu z 85% prawdopodobieństwem, na 73% z wynikiem lepszym od RP
• Ruch Palikota ma 52% szans na wejście do Sejmu i 99% szans na rezultat lepszy od KNP

Tak wygląda porównanie z sondażem sprzed miesiąca:

CBOS napisał:

"w porównaniu z wynikami z sierpnia preferencje partyjne Polaków zmieniły się tylko w małym stopniu"

jednak wzrost notowań RP jest statystycznie istotny.

A tak wygląda porównanie z sondażem sprzed dwóch miesięcy - ostatnim, w którym CBOS podawał PiS jako lidera.

Dla mnie nadal wygląda to bardziej na słabość PiS niż wzrost wyniku PO.

Przyjrzyjmy się dokładniej relacji pomiędzy PiS, a PO.

Trend ujawniony we wpisie sprzed miesiąca jest kontynuowany (uwaga, odwróciłem kolejność dat na osi, aby zgadzały się z następnym wykresem). 

Różnica jest mniej-więcej stała i znów przesunęła się na korzyść PO.

Dokładniej:

Kluczowe informacje:

• różnica w poparciu PiS oraz PO na 95% wynosi od 8-punktowej przewagi PO do 4-punktowej przewagi PiS
• trend, w którym PO zyskuje jest kontynuowany od 4 miesięcy
• jednak przez ostatnie 4 miesiące żadna z tych dwóch partii nie była była liderem z 95% pewnością

Kto byłby najlepszym premierem? Może nikt?

Razem z sondażem wyborczym MillwardBrown podał wyniki innego pytania:



W sumie brakuje 5% odpowiedzi, nie wiadomo co się z nimi stało. Jest 7 możliwości, czyli zaokrąglenia wyjaśniłyby brak nie więcej 3,5 punkta procentowego.

Dokładne pytanie brzmiało:

Kto Pana(i) zdaniem byłby w obecnej sytuacji społeczno-politycznej najlepszym premierem rządu?

Ten rezultat był cytowany w wielu miejscach z różnymi tytułami:

• "Kaczyński najlepszym premierem"
• "Jarosław Kaczyński byłby najlepszym premierem"
• "Kaczyński najlepszym kandydatem na premiera? Za nim Tusk i Buzek"
• "Jarosław Kaczyński byłby dziś najlepszym premierem. Donald Tusk na drugim miejscu"

Samo porównanie tytułów obrazuje jakim problem jest podsumować taki sondaż. Pierwszy tytuł jest mylący, bo nie chodzi o ocenę przeszłych rządów Kaczyńskiego. W kolejnych tytułach rośnie ilość informacji, a maleje sensacji.

Nie będę zadawał sobie trudu liczenia poziomów błędu dla tych wyników, bo jest z nimi związany dużo poważniejszy problem.

Po pierwsze, gdybym dostał takie wyniki, to zacząłbym raport od tego, że ponad 1/4 wyborców nie widzi żadnego dobrego kandydata na premiera.

Po drugie, nigdzie nie znalazłem informacji jak to pytanie było zadawane. Są możliwe co najmniej trzy scenariusze:

• pytanie otwarte: ankietowany mówi co mu przyjdzie do głowy, ankieter zapisuje odpowiedź, albo zakreśla "nie wiem"
• pytanie wspomagane: jak wyżej, ale jeśli ankietowany nie potrafi podać odpowiedzi spontanicznie, to ankieter pokazuje mu listę możliwości
• pytanie zamknięte: ankietowany wybiera jedną z możliwości przedstawionych przez ankietera

To ma ogromne znaczenie dla interpretacji wyników. Bowiem jeśli pytanie było otwarte, to wszystko jest w porządku. Ale jeśli było wspomagane albo zamknięte, to taki wybór możliwości był nie fair, a prezentacja wyników myląca. Wśród możliwych kandydatów jest jeden związany z SLD, jeden z PiS i trzech (albo czterech) powiązanych z PO.

Równie dobrze można by powiedzieć, że ponad 1/3 ankietowanych chciałaby premiera związanego z PO. Mógłbym dodać sensacyjny podtytuł, że to znacznie więcej niż obecne poparcie dla PO. I to też byłaby prawdziwa informacja.

To graniczy z manipulacją i wstyd, że albo nie zostało wyłapane na etapie przygotowania badania albo nikt się nie przyłożył do rzetelnego zaraportowania rezultatu. To błąd na poziomie zaskakujących wyników Homo Homini i partii Republikanów.