poniedziałek, 30 września 2013

Agregacja sondaży z września

Pora na pierwszą część podsumowania września.

Podobnie, jak w poprzednich miesiącach wybór agregowanych sondaży jest ograniczony tylko do tych, które nie pomijają mniejszych partii.

Podstawą są obserwacje zebrane z najnowszych sondaży TNS, TNS dla TVP, Homo Homini dla Rzeczpospolitej, CBOS, SMG/KRC oraz ewybory.eu wykonanych we wrześniu.

Szacunki frekwencji pochodzą z sondaży SMG/KRC (45%) , TNS (53%) oraz CBOS (54%).

Z sondażu Homo Homini, ukazującego się dwa razy w miesiącu, wybieram ten najnowszy.
Kluczowe informacje:
  • PiS przed PO na 100%
  • w Sejmie na pewno 4 partie, na pewno w kolejności PiS, PO, SLD, RP
  • PSL ma 2% szans na wejście, na 96% z wynikiem lepszym od KNP
  • pozostali poza parlamentem
Dla porównania: link do wyników z sierpnia.

A to wykres obrazujący rozmiar przewagi PiS nad PO we wrześniu:
Kluczowe informacje:
  • średnia przewaga wyniosła 10 punktów procentowych
  • mamy 95% pewności, że rozmiar tej przewagi wynosi od 7,7 do 12,7 punktu procentowego
  • przewaga PiS odrobinę zmalała od zeszłego miesiąca, nie jest to jednak żadna istotna zmiana



sobota, 28 września 2013

Referendum w Warszawie - SMG/KRC 2013-09-26

W sierpniu pisałem o poprzednim sondażu dotyczącym referendum w sprawie odwołania prezydent Warszawy. Referendum za dwa tygodnie, ale od tamtego czasu pojawił się tylko jeden nowy sondaż.

Sondaż wykonała pracownia SMG/KRC MillwardBrown na próbie 1004 pełnoletnich mieszkańców Warszawy.

Wyniku sondażu nie będę komentował: 75% tych, którzy poszliby głosować chce odwołania obecnej pani prezydent. Podstawowym pytaniem więc jest, czy tych głosujących wystarczy, aby referendum było ważne.

W 2010r. w warszawskich wyborach wzięło udział 649049 osób. Aby obecne referendum było ważne musi wziąć udział 3/5 tej liczby, czyli 389430 osób z uprawionych 1335000. Próg frekwencji wynosi więc 29,17%.

Oto wyniki pytania o udział w głosowaniu:
Aby referendum było ważne do głosowania powinno pójść 29,17% uprawnionych, a w sondażu 29% zdecydowanie chce iść głosować. Niesamowite. Dodatkowe 18% ankietowanych raczej pójdzie na referendum.

Zobaczmy, jakie są szanse, że przy tych szacunkach referendum będzie ważne.

  • jeśli do urn pójdą tylko Ci, którzy stwierdzili "zdecydowanie tak", to jest 45,6% szans na wiążący wynik refrendum
  • jeśli do urn pójdą obie grupy: "zdecydowanie tak" oraz "raczej tak", to wynik referendum będzie ważny i Hanna Gronkiewicz-Waltz zostanie odwołana
Jak rozumieć to prawdopodobieństwo? Jeśli ktoś zaproponuje mi zakład na to, że referendum będzie ważne, to przyjmę taki zakład po kursie co najmniej 2,20. Tzn. za każdą złotówkę postawioną na to, że referendum będzie ważne miałbym otrzymać z powrotem tę złotówkę i jeszcze 1,20zł.

Dlaczego tak? Otóż moja potencjalna wygrana wynosi 2,20zł z prawdopodobieństwem 45,6%. Wartość oczekiwana takiego zakładu to 2,20*45,6%=1,0032. To jest wartość większa od jeden i oznacza zysk, czyli warto wejść w taki zakład.

Firma STS oferuje w tej chwili (2013-09-28, 23:06) zakład na to zdarzenie z kursem 2,25:

Niestety, STS działa w Polsce i przed wypłatą musi odprowadzić 12% podatku, więc realny kurs wynosi tylko 1,98 i taka gra nie jest opłacalna.

Bazując na podanych tutaj kursach ten bukmacher ocenia szanse powodzenia referendum na 40%.

Na koniec jeszcze spotrzeżenie o tym, jak wyniki tego sondażu zostały zaraportowane w mediach.
  • najwięcej napisał zleceniodawca, czyli TVN, sondaż był dłuższy i miał więcej pytań, np. o to kto mógłby być wybrany na prezydenta stolicy w późniejszych wyborach; mnie to nie interesuje
  • na portalu gazeta.pl we wstępie napisano "Tylko 29 proc. warszawiaków deklaruje, że weźmie udział w referendum". To bardzo mylące, bo 29 procent deklaruje zdecydowany udział, kolejne 18 procent deklaruje potencjalny udział w głosowaniu, razem to jest 47% respondentów. Co więcej, sama wartość 29% jest bardzo ważna, o czym w notatce nie ma ani słowa
  • za to we Wprost napisano odwrotnie: że 47% respondentów deklaruje udział w referendum, w tym 29% zdecydowanie
Zabawne jest też zaskoczenie autora komentarza w TVN:
Co ciekawe, tylko 36 procent wierzy, że prezydent stolicy zostanie odwołana (innego zdania jest 47 procent).
Cóż. Do głosowania chce iść 47% ankietowych, a wśród nich 75% chce odwołania prezydent stolicy. Jeśli pomnożyć te dwie liczby przez siebie, to wychodzi nieco więcej niż 35%, więc ten wynik nie jest specjalnie ciekawy.

piątek, 27 września 2013

Wybory do Bundestagu

W ostatni weekend odbyły się wybory do niemieckiego parlamentu. Za zachodnią granicą znalazł się ktoś, kto zainteresował się tematyką podobną do treści tego bloga: problemem zmian poparcia dla partii (są istotne różnice, czy nie), wizualizacją tej niepewności oraz pytaniem o błąd systematyczny pracowni.
Na szeregu wykresów Gregor Aisch prezentuje wyniki sondaży wyborczych do Bundestagu na przestrzeni ostatnich lat, na których świetnie widać skokowe zmiany poparcia dla partii po wygranych/przegranych wyborach oraz prawdopodobne systematyczne obciążenie wyników z niektórych pracowni dla niektórych partii.

Kolega miał o tyle łatwiejsze zadanie, że istnieje strona, która od dawna archiwizuje niemieckie dane sondażowe.

Ja musiałem poradzić sobie ze zebraniem i usystematyzowaniem danych samodzielnie, ale wkrótce zaczną się tutaj pojawiać analizy wyników sondaży od co najmniej lata 2010.

czwartek, 26 września 2013

Sondaż Homo Homini dla Rzeczpospolitej 2013-09-21

Kolejny wynik w tym miesiącu to rezultat badania Homo Homini dla Rzeczpospolitej.

Będę się czepiał, bo po postulatach z listu otwartego prezesa HH życzyłbym sobie od tej pracowni lepszej jakości prezentacji danych. Tymczasem jest bez zmian - wiemy, że badanie wykonano na próbie 1100 osób, ale nie znamy frekwencji (założyłem 44,6%, czyli najnowszą znaną wartość z ostatniego sondażu CBOS). Nie wiemy dlaczego PJN nie było wymienione - czy nikt z respondentów nie chciał głosować na PJN, czy może respondenci nie byli pytani o takie ugrupowanie, czy może PJN miało mniej niż pół procent poparcia i zostali zaokrągleni w dół i pominięci.

Wynik mojej analizy:
Kluczowe informacje:

  • PiS przed PO na 96%
  • PSL / Ruch Palikota z identycznymi szansami: 52% na wejście do Sejmu, 47% na wyprzedzenie jedno drugiego i 75% szans na wynik lepszy od KNP
  • KNP ma 15% szans na zasiadanie w parlamencie i 78% szans na wynik lepszy od SP
  • SP ma jedną szansę na sto na wejście do Sejmu
Spójrzmy na porównanie z poprzednim sondażem:
Wzrost poparcia dla RP jest statystycznie istotny. Co tu jeszcze się nie zgadza? Jeśli ktoś zagląda do podawanych źródeł, to przeczyta w RP, że:
6–7 i 20–21 września nie pytaliśmy o poparcie dla partii Jarosława Gowina, a PO zdobyła w tych sondażach po 24 proc. 
Tamże przy PO na wykresie pokazany jest brak zmian. Tymczasem ja porównuję te wyniki z sondażem z 10 września, w którym PO uzyskała 20% poparcia. Wyniki sondażu z 6-7 września nie zostały opublikowane.

Spójrzmy więc na porównanie z wcześniejszym sondażem:
Zakres i kierunek zmian są bardzo podobne.

Przejdźmy do sprawdzenia, jak zmieniała się przewaga PiS nad PO w ostatnich trzech sondażach:
Czy w związku z tym tytuł:
PiS. Lider z kłopotami.
jest uzasadniony?
Kluczowe informacje:
  • na 95% przewaga PiS nad PO wynosi od połowy punkta procentowego przewagi PO do 12 punktów przewagi PiS; przewaga PiS wyraźnie zmalała
  • w najnowszym sondażu nie ma więc lidera z 95% pewnością; podobnie jak w ostatnich sondażach TNS oraz CBOS

środa, 25 września 2013

List otwarty Homo Homini c.d.

Jest i reakcja na list otwarty prezesa Homo Homini. Pod listem podpisali się prezesi OFBOR i PTBRIO, czyli wszyscy adresaci korespondencji.

Można tam przeczytać:
W swoim liście otwartym postuluje Pan trzy rozwiązania, które mogłyby służyć budowie zaufania do sondaży. Pierwsze z nich zakłada ujednolicenie sposobu prezentacji wyników w celu łatwiejszych porównań między pomiarami prowadzonymi przez różne ośrodki. W pełni zgadzamy się z tym wnioskiem. Nasze środowisko wielokrotnie kierowało ten postulat zarówno do firm badawczych, jak i do mediów, publikujących wyniki badań opinii publicznej. Z pewnością należy kontynuować działania w tym kierunku.
No i fajnie, ale działania w tym kierunku są bardzo proste: opracować i konsekwentnie stosować jednolitą metryczkę badań i jednolity sposób prezentacji wyników.

Odpowiedź na pozostałe dwa punkty jest zdecydowanie negatywna, co mnie trochę rozczarowało. Sama informacja czy lista możliwości do wyboru była otwarta, czy zamknięta jest bardzo ważna.

List kończy się zaproszeniem Homo Homini do poddania się audytowi.

Szerszy komentarz przytacza GW
Czy postulaty Homo Homini mają sens? - Mówienie o tym, żeby standaryzować metodologię, świadczy o naiwności. Ktoś, kto to mówi, nie zna się na współczesnych badaniach - podkreśla dr Wenzel. Jego zdaniem metodologia badań społecznych jest dziś zbyt szerokim zagadnieniem, by je standaryzować.
Jestem sceptycznym matematykiem, a nie socjologiem, więc wobec siły takiego argumentu wolę pozostać naiwny.

O panelach społecznych w rodzaju Diagnozy Społecznej i ich rezultatach można mówić, że są szerokim zagadnieniem. Sondaży wyborczych, do takich bym nie zaliczył. Natomiast badania marketingowe mają niekiedy bardzo zaawansowaną metodologię, a jednak kiedy jest mowa o analizie conjoint czy price sensitivity measurement, to bardzo dobrze wiadomo o jaki produkt chodzi.

Jeśli jednak dzięki tej wymianie zdań rzeczywiście poprawi się jakość prezentacji wyników sondaży, to będzie to ze sporym pożytkiem dla wszystkich zainteresowanych.

wtorek, 24 września 2013

Sondaż SMG/KRC 2013-09-15

Portal 300polityka.pl podał wyniki sondażu Millward Brown. Z tekstu nie wynika jasno kto zamawiał ten sondaż - czy to ten portal, czy TVN24, czy jakiś inny podmiot.

Wiemy:

  • że było to badanie CATI z podziałem 50/50 na telefony stacjonarne i komórkowe
  • że badanie było wykonane 13-15.09.2013
  • że próbę stanowiło 1000 pełnoletnich osób
  • że podstawą liczenia procentów jest grupa 446 osób zdecydowanych na udział w wyborach
  • znamy dokładną treść pytania: Proszę powiedzieć, na którą partię by Pan(i) zagłosował(a) gdyby w wyborach do parlamentu startowały następujące ugrupowania?
  • z treści pytania wnioskujemy, że lista możliwości była zamknięta i ograniczona do 8 ugrupowań oraz opcji "nie wiem" i "odmowa odpowiedzi"
Jestem jednak pod bardzo pozytywnym wrażeniem tego, jak wzrasta jakość raportowania wyników sondaży. Miejsca w notatce internetowej jest dość, aby te informacje pomieścić w stopce pod rezultatami. Sądzę, że zamieszanie, jakie zrobił prezes Homo Homini też miało na to wpływ.

Oto zwykłe słupki:
Wyniki mojej analizy:
Kluczowe informacje:

  • PiS przed PO na 95%
  • SLD na pewno w Sejmie, prawie na pewno (98%) z wynikiem lepszym od Ruchu Palikota
  • Ruch Palikota ma 83% szans na wejście do Sejmu, 90% szans na wynik lepszy od PSL
  • PSL weszłoby do parlamentu na 15%, z 79% prawdopodobieństwem z rezultatem lepszym od KNP
  • KNP ma 1 szansę na sto na zasiadanie w Sejmie
W komentarzu napisano:
Według MillwardBrown, PiS popierany jest istotnie częściej niż w innych grupach, przez osoby w wieku 45-59 lat, Platforma osoby w wieku 18-24 lata i mieszkańców Warszawy, SLD przez mieszkańców miejscowości do 500 tys. mieszkańców, Ruch Palikota przez mężczyzn i mieszkańców regionu zachodniopomorskiego. Niezdecydowani to osoby w wieku 35-44 lat i mieszkańcy miejscowości 20-49 tys, a odmawiający odpowiedzi to respondenci w wieku 25-34.
Do tych informacji podchodziłbym bardzo sceptycznie. Niezdecydowanych było 7% z 446 osób, czyli 31 osób. Odpowiedzi odmówiło 5% zdecydowanych na głosowanie, czyli 22 osoby. Jest co najmniej pięć kategorii wiekowych. Aby napisać tak, jak wyżej o odmowach wystarczyłoby, aby do kategorii 25-34 wpadło 6 osób zamiast 5.

Porównajmy te wyniki z poprzednim sondażem tej samej pracowni:
A to porównanie z sondażem z lipca:
Żadna ze zmian nie jest statystycznie istotna.

Tak wyglądała zmiana przewagi PiS nad PO w ostatnich trzech sondażach:
Ostatnie dwa sondaże zostały wykonane w bardzo niewielkim odstępie czasu, więc i zmiany są niewielkie.
Kluczowe informacje:

  • w najnowszym sondażu rozstęp pomiędzy PiS a PO jest na 95% pomiędzy przewagą PiS wynoszącą 13 punktów procentowych, a przewagą PO bliską 1 punktu procentowego
  • jest to wynik bardzo podobny do poprzedniego sondażu, gdzie również nie ma rozstrzygnięcia przy 95% poziomie ufności


piątek, 20 września 2013

List otwarty Homo Homini


Homo Homini wystosowało list otwarty do OFBOR i PTBRiO:
w sprawie rozbieżności w badaniach sondażowych oraz ujednolicenia sposobu badania preferencji wyborczych
Czytamy tam m.in.
Odnoszę się  przede wszystkim do różnic w sondażach Centrum Badania Opinii Społecznej, Millward Brown i TNS Polska. CBOS pokazuję, że to Platforma Obywatelska cieszy się poparciem największego odsetka wyborców, co stoi w jawnej sprzeczności do wyników badań pozostałych ośrodków badania opinii w tym także kierowanego przeze mnie Instytutu Homo Homini. Jednocześnie TNS Polska dostarcza sondaże, w których, ze względu na sposób prezentacji, wyniki dla poszczególnych ugrupowań różnią się od siebie od paru do nawet dziesięciu punktów procentowych.
Rozumiem z tego, że "w sprawie rozbieżności" oznacza tyle, że "wam wychodzi inaczej niż nam". Zwrócenie uwagi na CBOS być może jest słuszne (muszą robić coś inaczej), chociaż z moich analiz wynika, że od kilku miesięcy w sondażach TNS również nie ma statystycznie istotnego lidera pomiędzy PiS, a PO.

Zgadzam się też z tym, że sposób prezentacji wyników wykonaniu TNS jest mylący. W miesiącu publikowane są dwa sondaże, z czego ten dla TVP nie ujawnia ile było niezdecydowanych osób, a jako podstawę liczenia procentów przyjmuje tylko zdecydowane osoby.

Dalej następują trzy całkiem rozsądne propozycje ujednolicenia sposobu prezentacji wyników i zadawania pytań. Można byłoby dodać jeszcze czwarty punkt, np. o tym, aby sondaż wyborczy był wykonywany jako samodzielne badanie, a nie dołączany do innego kwestionariusza po serii pytań sugerujących odpowiedź.

Idea jak najbardziej słuszna, pożyteczna i mam nadzieję, że OFBOR na to zareaguje.

Homo Homini nie należy do tej organizacji, więc mogą nie wiedzieć. Taka inicjatywa nie jest czymś nowym.

Przed poprzednimi wyborami parlamentarnymi w domenie OFBOR powstał portal z ujednoliconymi wynikami, gdzie były umieszczone też informacje o metodologii. Tylko liczb pochodzących z Homo Homini wśród wyników tam nie ma. Byłoby dobrze, gdyby tym razem się w takim miejscu znalazły.

czwartek, 19 września 2013

Sondaż Homo Homini dla WP 2013-09-19

Kolejny z sondaży, to wyniki Homo Homini dla Wirtualnej Polski. Sondaż został wykonany na próbie 1067 osób. Frekwencja nie jest znana, więc nadal przyjmuję 52% - wartość z ostatniego sondażu TNS.

Wyniki mojej analizy:
Kluczowe informacje:

  • PiS na pewno przed PO, PO na pewno przed SLD, SLD na pewno trzecie, każda z tych trzech partii na pewno wejdzie do Sejmu
  • Ruch Palikota ma 85% szans na wejście do parlamentu, na 76% z wynikiem lepszym od PSL
  • PSL ma 47% szans na zasiadanie w Sejmie i 73% prawdopodobieństwo, że osiągnie wynik lepszy od SP
  • Solidarna Polska weszłaby do Sejmu na 14%
Jak zmieniło się poparcie dla partii w porównaniu z sondażem sprzed dwóch tygodni?
Zmiany są niewielkie, z wyjątkiem pozycji Ruchu Palikota. To kolejny sondaż po TNS dla TVP Info oraz CBOS w którym wzrost poparcia dla nich jest statystycznie istotny.
Jeśli jednak cofnąć się do sondażu sprzed miesiąca:
Zmiany nie są już tak znaczące.

Oto, jak zmieniała się różnica pomiędzy PiS, a PO w ostatnich trzech sondażach:
W najnowszym wyniku widać zmianę. Dokładniej:
Kluczowe informacje:
  • średnia przewaga PiS nad PO zmalała o 3 punkty procentowe (z 13% do 10%)
  • na 95% wynosi od 4 do 16 punktów procentowych 
  • w każdym z czterech ostatnich sondaży przewaga PiS jest istotnie większa od zera

wtorek, 17 września 2013

Sondaż TNS 2013-09-17

Następne w kolejce są wyniki TNS. Informację wziąłem z tej notatki i jestem pod bardzo pozytywnym wrażeniem. Dowiedziałem się wszystkiego, co mi było potrzebne, podano nawet liczbę (nie odsetek) osób, które są podstawą liczenia procentów.


Sondaż wykonano na próbie 962 osób, z których 509 zadeklarowało udział w wyborach, a wśród nich 82% było zdecydowanych na jakąś partię.

Wynik mojej analizy:
Kluczowe informacje:
  • PiS przed PO na 94%
  • SLD przed RP na 97%
  • Ruch Palikota oraz PSL mają 46% szans na wejście do Sejmu
  • Ruch Palikota oraz PSL mają 75% prawdopodobieństwo, że przynajmniej jedno z nich uzyska wynik lepszy od SP
  • Solidarna Polska weszłaby do Sejmu z 12% prawdopodobieństwem, a na 78% uzyskałaby wynik lepszy od KNP 
  • KNP ma jedną szansę na sto na wejście do parlamentu
TNS podał:
TNS Polska zwraca uwagę, że gdyby – tak jak to się robi w przypadku obliczania wyników faktycznych wyborów – za podstawę procentowania przyjąć głosy oddane na poszczególne podmioty polityczne (z wyłączeniem niezdecydowanych, jak głosować), to 5-procentowy próg wyborczy osiągnęłaby też Solidarna Polska.
Wiedzą, że to nie takie proste. W wynikach tego sondażu jest 18% niezdecydowanych. W sondażach Homo Homini jest podobnie, CBOS podał 30% niezdecydowanych. Co by nie zrobić z tą liczbą, to będzie problem. Nie przypominam sobie, abym gdziekolwiek widział badanie dotyczące osób, które decyzję podjęły tuż przed wyborami, albo choćby pytanie o czas podjęcia decyzji skrzyżowany z poparciem dla ugrupowań.

Oto porównanie z sondażem sprzed miesiąca:
Widać stagnację.

Porównanie z sondażem sprzed dwóch miesięcy:
Również niewielkie zmiany.

Sprawdzimy teraz jak zmieniała się różnica pomiędzy wynikiem PiS, a PO:
Jest zmiana na korzyść PiS. Na wykresach wyżej widać, że wynika to z faktycznie lepszego wyniku PiS i niezmiennego poparcia dla PO. Dokładniej:
Kluczowe informacje:

  • w ciągu ostatnich 4 miesięcy nie można było z 95% pewnością stwierdzić która z dwóch partii jest liderem
  • w najnowszym sondażu różnica pomiędzy PiS, a PO na 95% wynosi od 1 punktu procentowego przewagi PO do 11 punktów przewagi PiS
  • nie ma istotnej różnicy między wynikami z lipca i sierpnia, wynik z września pokazuje zmianę na korzyść PiS

poniedziałek, 16 września 2013

Sondaż TNS dla TVP Info 2013-09-12

Kolejny z sondaży w tym miesiącu to rezultat TNS Polska dla TVP.

Nie podano frekwencji. Można natomiast przeczytać, że:
Sondaż przeprowadzono metodą wywiadu telefonicznego 11 i 12 września na grupie 1000 dorosłych mieszkańców Polski, chcących wziąć udział w wyborach i wiedzących, na kogo głosować.
To by znaczyło, że dzwonili tak długo, aż zebrali 1000 odpowiedzi - tak, jak robi to portal ewybory.eu. Jeśli tak było, to fatalnie.
Nie wiem, czy ktoś tego podsumowania metodologicznego po prostu ułomnie nie streścił, bo miesiąc temu było tak:
Badanie TNS Polska przeprowadzono 13 sierpnia na grupie 1000 osób. Błąd może wynieść +/- 3,1 proc. Podstawą procentowania są osoby, które deklarują chęć udziału w wyborach i są zdecydowane, na kogo oddać głos.
Zobaczymy, co będzie za miesiąc. Tymczasem do mojej analizy przyjąłem frekwencję 54% - z wykonanego w tym samym czasie sondażu CBOS.
Kluczowe informacje:
  • PiS przed PO na 99%
  • RP oraz PSL w Sejmie na 82%, jedno przed drugim na 47%
  • RP oraz PSL na pewno przed KNP
  • KNP bez szans na wejście do parlamentu
Oto porównanie z poprzednim sondażem:
Wzrost poparcia dla Ruchu Palikota jest statystycznie istotny na poziomie 95%.

A to porównanie z sondażem sprzed dwóch miesięcy:
Tutaj wzrost poparcia dla PSL w ciągu ostatnich dwóch miesięcy jest istotny.

Sprawdzimy jak zmieniała się różnica pomiędzy poparciem ankietowanych dla PiS oraz PO w ostatnich trzech sondażach:
Przewaga PiS jest istotnie różna od zera, ale nie ma jasnego trendu. Dokładniej wygląda to tak:
Kluczowe informacje:
  • w sierpniu i we wrześniu przewaga PiS nad PO była istotnie różna od zera
  • przewaga PiS we wrześniu na 95% wynosi od 1 do 16 punktów procentowych
  • nie ma trendu

niedziela, 15 września 2013

Sondaż CBOS 2013-09-12

Kolejne wyniki pochodzą z sondażu CBOS, który tym razem nie wzbudził aż takich emocji, jak miesiąc temu.

Pod wpisem z wynikami ostatniego sondażu Homo Homini pojawił się komentarz anonimowego użytkownika z linkiem do porównania sondażów HH, CBOS z faktycznymi wynikami wyborów. Dzięki, to ciekawy wpis. Na pewno do niego wkrótce wrócę, bo po pierwszym i drugim przeczytaniu mam jeszcze kilka wątpliwości, ale muszę się nad nimi głębiej zastanowić.
Jest tam wspomniany pan Wojciech Szacki, który miesiąc temu sam zabrał głos w sprawie sondaży CBOS oraz TNS. Jego wyliczenia się zgadzają, ale uzasadnieniami z drugiej części artykułu zupełnie mnie nie przekonał.

Wyniki mojej analizy:
Kluczowe informacje:

  • PO ma 72% szans na wynik lepszy od PiS
  • SLD na pewno w Sejmie
  • PSL weszłoby do parlamentu z 85% prawdopodobieństwem, na 73% z wynikiem lepszym od RP
  • Ruch Palikota ma 52% szans na wejście do Sejmu i 99% szans na rezultat lepszy od KNP
Tak wygląda porównanie z sondażem sprzed miesiąca:
CBOS napisał:
"w porównaniu z wynikami z sierpnia preferencje partyjne Polaków zmieniły się tylko w małym stopniu"
jednak wzrost notowań RP jest statystycznie istotny.

A tak wygląda porównanie z sondażem sprzed dwóch miesięcy - ostatnim, w którym CBOS podawał PiS jako lidera.
Dla mnie nadal wygląda to bardziej na słabość PiS niż wzrost wyniku PO.

Przyjrzyjmy się dokładniej relacji pomiędzy PiS, a PO.
Trend ujawniony we wpisie sprzed miesiąca jest kontynuowany (uwaga, odwróciłem kolejność dat na osi, aby zgadzały się z następnym wykresem). 

Różnica jest mniej-więcej stała i znów przesunęła się na korzyść PO.

Dokładniej:
Kluczowe informacje:
  • różnica w poparciu PiS oraz PO na 95% wynosi od 8-punktowej przewagi PO do 4-punktowej przewagi PiS
  • trend, w którym PO zyskuje jest kontynuowany od 4 miesięcy
  • jednak przez ostatnie 4 miesiące żadna z tych dwóch partii nie była była liderem z 95% pewnością

piątek, 13 września 2013

Kto byłby najlepszym premierem? Może nikt?


Razem z sondażem wyborczym MillwardBrown podał wyniki innego pytania:



W sumie brakuje 5% odpowiedzi, nie wiadomo co się z nimi stało. Jest 7 możliwości, czyli zaokrąglenia wyjaśniłyby brak nie więcej 3,5 punkta procentowego.

Dokładne pytanie brzmiało:
Kto Pana(i) zdaniem byłby w obecnej sytuacji społeczno-politycznej najlepszym premierem rządu?
Ten rezultat był cytowany w wielu miejscach z różnymi tytułami:


Samo porównanie tytułów obrazuje jakim problem jest podsumować taki sondaż. Pierwszy tytuł jest mylący, bo nie chodzi o ocenę przeszłych rządów Kaczyńskiego. W kolejnych tytułach rośnie ilość informacji, a maleje sensacji.

Nie będę zadawał sobie trudu liczenia poziomów błędu dla tych wyników, bo jest z nimi związany dużo poważniejszy problem.

Po pierwsze, gdybym dostał takie wyniki, to zacząłbym raport od tego, że ponad 1/4 wyborców nie widzi żadnego dobrego kandydata na premiera.

Po drugie, nigdzie nie znalazłem informacji jak to pytanie było zadawane. Są możliwe co najmniej trzy scenariusze:

  • pytanie otwarte: ankietowany mówi co mu przyjdzie do głowy, ankieter zapisuje odpowiedź, albo zakreśla "nie wiem"
  • pytanie wspomagane: jak wyżej, ale jeśli ankietowany nie potrafi podać odpowiedzi spontanicznie, to ankieter pokazuje mu listę możliwości
  • pytanie zamknięte: ankietowany wybiera jedną z możliwości przedstawionych przez ankietera
To ma ogromne znaczenie dla interpretacji wyników. Bowiem jeśli pytanie było otwarte, to wszystko jest w porządku. Ale jeśli było wspomagane albo zamknięte, to taki wybór możliwości był nie fair, a prezentacja wyników myląca. Wśród możliwych kandydatów jest jeden związany z SLD, jeden z PiS i trzech (albo czterech) powiązanych z PO.

Równie dobrze można by powiedzieć, że ponad 1/3 ankietowanych chciałaby premiera związanego z PO. Mógłbym dodać sensacyjny podtytuł, że to znacznie więcej niż obecne poparcie dla PO. I to też byłaby prawdziwa informacja.

To graniczy z manipulacją i wstyd, że albo nie zostało wyłapane na etapie przygotowania badania albo nikt się nie przyłożył do rzetelnego zaraportowania rezultatu. To błąd na poziomie zaskakujących wyników Homo Homini i partii Republikanów.

czwartek, 12 września 2013

Sondaż Homo Homini dla Rzeczpospolitej 2013-09-10

Wyniki sondażu Homo Homini dla Rzeczpospolitej.

Wyniki fatalnie raportowane. Na pierwszy rzut oka miałem wrażenie, że podano wyniki tylko tych czterech partii, które przekroczyły próg 5%. Dopiero po drugim przeczytaniu zorientowałem się jakie poparcie mogą mieć Ruch Palikota, Solidarna Polska, czy KNP. Tym razem notatka na onet.pl była jeszcze bardziej lakoniczna.



Sondaż wykonano na próbie 1100 osób, przyjąłem frekwencję 51% - z wczorajszego wyniku MillwardBrown.

Wynik analizy:
Kluczowe informacje:

  • PiS przed PO na 100%, PO prawie na pewno (na 98%) przed SLD
  • PSL w Sejmie na 49%, na pewno z wynikiem lepszym od SP, KNP i pozostałych
  • SP oraz KNP mają jedną szansę na 100 na wejście do parlamentu
  • Ruch Palikota na pewno nie wszedłby do Sejmu
Spójrzmy na porównanie z poprzednim sondażem:
Notatka w Rzeczpospolitej była zatytułowana (onet to skopiował):
PO chudnie po Gowinie
Jak widać na obrazku: jeśli PO teraz chudnie po Gowinie, to po czym chudnie PiS? Autor w dalszej części tekstu odnosił się do wyników sondażu z 6-7. września, których jeszcze nie opublikowano. Podejrzewam, że już nie będą opublikowane, bo i po co.

Tak, czy inaczej, zmiany w porównaniu z wynikami sprzed dwóch tygodni, nie są istotne.

Oto porównanie z sondażem sprzed miesiąca:
Tutaj spadki poparcia dla PO oraz RP są statystycznie istotne. PO może chudnie po Gowinie, ale chudło i przed Gowinem.

Przejdźmy do sprawdzenia jak zmieniała się przewaga PiS nad PO w ostatnim miesiącu:
A dokładniej:
Kluczowe informacje:

  • przewaga PiS nad PO niemal nie zmieniła się przez ostatnie dwa tygodnie
  • jednak jest większa niż miesiąc temu
  • z prawdopodobieństwem 95% przewaga PiS nad PO wynosi od 5 do 17 punktów procentowych