W tygodniu przed wyborami (4)

Ostatni wpis przed wyborami.

Wyniki modelu nr 1 wyglądają tak:

A poparcie dla partii zmieniało się tak:

PiS to zsumowane wyniki "PiS", "Solidarnej Polski" i "Polski Razem", a Zjednoczona Lewica to suma poparcia SLD i Ruchu Palikota/Twojego Ruchu.

Obciążenie wyników poszczególnych sondażowni:

Nie mam wyników dla Kukiza, KORWiNa, "Nowoczesnej" ani "Razem", bo ten model nie działa bez punktu zaczepienia: rzeczywistych wyników.

Coś więcej będzie można powiedzieć dopiero po wyborach. Prognozowanie jest trudne, zwłaszcza prognozowanie przyszłości.

Na sam koniec średnia z wszystkich październikowych sondaży, ujednoliconych do podstawy zdecydowanych wyborców.

PiS	40%
PO	26%
ZL	9%
Kukiz	7%
Nowoczesna	7%
PSL	6%
KORWiN	5%
Razem	1%

W tygodniu przed wyborami (3)

Dziś opublikowano wyniki sześciu(!) sondaży. Ciekawe, czy jeszcze coś zostanie na jutro.
Tutaj można znaleźć narzędzie do porównywania wyników pochodzących z tej samej pracowni.

Sześć sondaży to sporo, więc uaktualniłem ostatni wpis o obciążeniu wyników oraz wyniki modelu.

To wynik modelu:

A to średnia z październikowych sondaży, ujednoliconych do podstawy zdecydowanych wyborców.

PiS	40%
PO	26%
ZL	9%
Kukiz	7%
Nowoczesna	7%
PSL	5%
KORWiN	5%
Razem	1%

W tygodniu przed wyborami (2)

[Wpis uaktualniony danymi z 2015-10-22]
Do przygotowania poprzedniego wpisu musiałem obliczyć miesięczne średnie z wyników poszczególnych partii.

Warto się nimi podzielić:

To średnie z ujednoliconych rezultatów - sondaży z różnych firm badawczych ujednoliconych do wspólnego świata zdecydowanych wyborców.

Tak wygląda zbliżenie na okres od maja 2015:

A to wynik dla samego października 2015:

PiS	40%
PO	26%
ZL	9%
Kukiz	7%
Nowoczesna	7%
PSL	5%
KORWiN	5%
Razem	1%

Repozytoria na github.com

W serwisie github.com na koncie niepewnesondaże udostępniłem właśnie

• kod źródłowy pobierania danych w Pythonie
• skrypty w R, które posłużyła do napisania wpisów o pierwszej i drugiej turze wyborów prezydenckich.
• surowe dane w formacie CSV oraz połączone i nieco przetworzone w formie pliku Rda do bezpośredniego wczytania przez R

Adresy repozytoriów:
https://github.com/niepewnesondaze/wybory-prezydent-2015-tura1
https://github.com/niepewnesondaze/wybory-prezydent-2015-tura2

Jest tam też repozytorium i dane z wyborów samorządowych do sejmików wojewódzkich:
https://github.com/niepewnesondaze/wyborysejmiki2014

Wybory prezydenckie - pierwsza i druga tura oraz co zrobili wyborcy Kukiza

Podałem już tutaj osobno analizy wyników pierwszej oraz drugiej tury wyborów prezydenckich na poziomie wszystkich 27586 lokali wyborczych.

Nie było trudne połączyć wyniki obu głosowań i zobaczyć co ciekawego da się znaleźć po skrzyżowaniu tych danych.

Na przykład spróbować dowiedzieć się, co w drugiej turze zrobili wyborcy Pawła Kukiza? Sondaż MillwardBrown sugerował, że 63% z nich pójdzie zagłosować na Komorowskiego.

Zobaczmy najpierw, jak rywale poradzili sobie w drugiej turze.

Obie chmury punktów są nad przekątną - oczywiście poparcie dla obu kandydatów w drugiej turze było większe niż w pierwszej. Jednak niebieska chmura jest wyżej niż pomarańczowa - Andrzej Duda zyskał więcej w drugiej turze.

Dla każdego lokalu wyborczego znam liczbę głosów z pierwszej i z drugiej tury. Znam liczbę uprawnionych i frekwencję.

Czy na tej podstawie mogę powiedzieć jak wyborcy Pawła Kukiza zagłosowali w drugiej turze?

W jednym lokalu oczywiście nie.

Ale można to oszacować na danych z wyższego poziomu - na poziomie województw i całego kraju.

Używam w tym celu następującej metody opracowanej przez prof. Ioannisa Andreadisa (Andreadis, I. and Chadjipadelis, T. (2009). A method for the estimation of voter transition rates. Journal of Elections, Public Opinion and Parties 19(2):203-218 http://doi.org/10.1080/17457280902799089)

Doszedłem do następujących wyników:

Czy druga tura wyborów prezydenckich mogła zostać sfałszowana?

Bo skoro nie pierwsza...

Krótka odpowiedź: raczej nie.

Długa odpowiedź poniżej. Obejrzymy niektóre wykresy w kontekście, jaki nadały wyniki pierwszej tury wyborów prezydenckich. Będziemy bazować również na rzeczywistych wynikach z 27586 komisji obwodowych ściągniętych ze strony PKW. Tak wygląda pojedynczy raport.

Zaczniemy od skrzyżowania wyników z frekwencją:

To bardzo ładny wykres. Mamy dość symetryczną chmurę po obu stronach średniej krajowej frekwencji wyborczej. Nie ma żadnych podejrzanych obserwacji w narożnikach przy ok 100% frekwencji.

Tak wygląda wynik z prawdopodobnie sfałszowanych wyborów w Rosji.

Czy pierwsza tura wyborów prezydenckich mogła zostać sfałszowana?

Krótka odpowiedź: raczej nie.

Długa odpowiedź poniżej.

Tytuł to nawiązanie do wpisu dotyczącego wyborów samorządowych. Ten wpis będzie miał bardzo podobną strukturę. Przeanalizujemy szczegółowe wyniki pierwszej tury wyborów prezydenckich na poziomie pojedynczych obwodów.

Po wyborach parlamentarnych w 2011 w Rosji powstał raport, który pokazuje jak mogą wyglądać wyniki wyborów sfałszowanych na wielką skalę. Polecam otworzyć go sobie teraz i czytać (porównywać wykresy) równolegle z tym postem.

Tym razem nie zajmujemy się sondażem, tylko rzeczywistymi rezultatami wyborów. Zadałem sobie trochę trudu i ściągnąłem ze strony PKW po kolei raporty z wynikami wyborów z każdej z 27586 komisji obwodowych. Tak wygląda pojedynczy raport.

Zaczniemy od skrzyżowania wyników z frekwencją:

To bardzo ładny wykres. Mamy dość symetryczną chmurę po obu stronach średniej krajowej frekwencji wyborczej.

Tak wygląda wynik z prawdopodobnie sfałszowanych wyborów w Rosji.

Wybory prezydenckie 2015 - Analiza obciążenia sondaży przed pierwszą turą

Model nr 1, którego wyniki publikuję na tej zakładce, wymaga kalibracji faktycznymi wynikami wyborów. Z tego powodu nie mogłem go użyć przy okazji wyborów prezydenckich przed ogłoszeniem wyników pierwszej tury.

Wyniki zostały ogłoszone, więc jaki teraz pożytek z modelu?

Otóż mogę go użyć do oszacowania obciążenia wyników pracowni badawczych i odjęcia tego obciążenia od opublikowanych wyników sondaży.

Czy błędy są podobne do tych z sondaży parlamentarnych? Zobaczmy.

Najpierw wykres z wygładzonymi danymi historycznymi, po usunięciu wpływu obciążenia pracowni na wynik poszczególnych kandydatów.

Nowy wskaźnik w wynikach modelu

Do strony z wynikami modelu nr 1 dodałem nowy wykres przedstawiający wskaźnik koncentracji sceny politycznej.

Liczby na wykresie to znormalizowane wartości wskaźnika Herfindahla-Hirschmana (Herfindahl-Hirschman Index, HHI, równoważny wskaźnik z ekologii).

Wysoka wartość wskaźnika oznacza skupienie rynku w ręku kilku dużych firm, a mała wartość - dużą konkurencyjność. Wskaźnik ma też zastosowanie w prawie antymonopolowym.

Tutaj zamiast udziałów rynkowych firm bierzemy pod uwagę wartości procentowe poparcia każdej z partii.

Indeks przyjmuje wartości z zakresu od zera do jeden. Zero oznacza perfekcyjne rozproszenie poparcia i sytuację, w której każda z partii ma takie same notowania. Jeden oznacza monopol jednej z partii.

Od końca 2014 widać postępującą konsolidację i spadek konkurencyjności na scenie politycznej.

Wybory samorządowe - nadal czekamy

Ponad miesiąc temu napisałem o tym, jak otrzymałem odpowiedź z PKW na temat brakujących danych o wynikach wyborów samorządowych w Warszawie.

Dane miały być uzupełnione do końca stycznia.

Oczywiście nadal nie są wprowadzone.

A ludzie się denerwują.

Gdzie są wyniki wyborów samorządowych? Czy trzy miesiące to za mało, by je opublikować na stronie? – grzmią samorządowcy i działacze lokalnych organizacji z Warszawy. Uważają, że to niedopełnienie obowiązków przez Państwową Komisję Wyborczą. – Poleciliśmy uzupełnienie danych, ale nie wszyscy to zrobili – odpowiada PKW

Czyli nie pokażemy jak szczegółowo wyglądały wybory i co nam państwo zrobią?

Oburzeni na PKW

Nie mam pojęcia kim są państwo na zdjęciu, ale mógłbym razem z nimi stanąć w szeregu jako szósta(?) osoba.

Wybory do sejmików - status

Otrzymałem odpowiedź z PKW odnośnie brakujących wyników z Warszawy:

Warszawa w dużym stopniu liczyła się "ręcznie". W bazie nie ma kompletu danych (brak 300 protokołów obwodowych z Rady Miasta i ponad 800 z sejmiku), więc nie ma ich i na wizualizacji.

PKW poleciła wpisanie brakujących protokołów do końca stycznia.

Mirosław Bogdanowicz

Zespół Prawny i Organizacji Wyborów

Krajowe Biuro Wyborcze

Pytanie wysłałem 19.12, odpowiedź przyszła 7.1. No, ale w międzyczasie była przerwa świąteczna. Dla uściślenia: brak "ponad 800 [protokołów] z sejmiku" to brak wszystkich, bo jest ich tam 886.

Gdy pojawią się nowe dane ściągnę ponownie wyniki z Mazowsza i przyjrzymy się głosom nieważnym. Tutaj może być bardzo ciekawie. Szukając w internecie jakie dokładnie stanowisko zajmuje pan Bogdanowicz natrafiłem na jego nazwisko w artykule z Gazety Wyborczej sprzed wyborów:

Tajemnicza plaga nieważnych głosów na Mazowszu. Dobrze głosują tylko wyborcy PSL

Czy mieszkańców obrzeży Mazowsza znów dotknie w tym roku dziwna przypadłość objawiająca się tym, że tak wielu oddaje nieważny głos w wyborach? Nie mylą się tylko wyborcy PSL.

Ciekawostka mazowiecka:

(...)na Mazowszu łatwiej zostać posłem (wybiera się tu ich 63) niż radnym województwa (50).

Ale ta mapa z wyborów 2010, robi na mnie największe wrażenie.

Odsetek głosów oddanych w wyborach do sejmików wojewódzkich w 2010 r., które były nieważne z powodu postawienia więcej niż jednego krzyżyka (źródło: prof. Przemysław Śleszyński)

Trochę zapala mi się w głowie lampka ostrzegawcza - dlaczego akurat takie przedziały i akurat taki dobór kolorów. Jednak coś jest na rzeczy.

W obecnych wyborach nie notowano dlaczego głosy były nieważne (zobacz przykładowy protokół). Komisje próbowały tylko uzasadniać dlaczego było mniej kart wydanych niż wyjętych z urny (najczęściej: bo wyborca zabrał kartę ze sobą). Można tylko pokazać odsetek nieważnych głosów ogółem w różnych przekrojach.

Mam ustawione różne alerty na wiadomości dotyczące wyborów i sondaży, ale tego artykułu wcale wcześniej nie widziałem. Dziwię się, że autor nie wrócił do tematu po wyborach - choćby po to, aby porównać cytowane wyniki i zweryfikować tezę zamykającą artykuł:

W tym roku tego dylematu nie będzie. Wszędzie stawiamy tylko jeden krzyżyk.

Wybory samorządowe - ciąg dalszy

Zanim wymyślę co ciekawego można sprawdzić w związku z głosami nieważnymi najpierw wpis na inny temat, ale będzie dalej o wynikach wyborów do sejmików wojewódzkich. Dziś wykresy w przekroju na obecność/nieobecność mężów zaufania oraz wieś/miasto.

Najpierw najlepsze wyniki poszczególnych list w całym kraju, z okręgów, w których zliczono co najmniej sto ważnych kart do głosowania:

Czy wybory samorządowe mogły zostać sfałszowane?

Po kompromitacji Państwowej Komisji Wyborczej przy okazji ostatnich wyborów samorządowych PiS stanął na stanowisku, że wybory do sejmików zostały sfałszowane.

Czy tak mogło być? Sprawdźmy. Po wyborach parlamentarnych w 2011 w Rosji powstał raport, który pokazuje jak mogą wyglądać wyniki wyborów sfałszowanych na wielką skalę. Polecam otworzyć go sobie teraz i czytać (porównywać wykresy) równolegle z tym postem.

Tym razem nie zajmujemy się sondażem, tylko rzeczywistymi rezultatami wyborów. Zadałem sobie trochę trudu i ściągnąłem ze strony PKW po kolei raporty z wynikami wyborów do sejmików z każdej z 26526 komisji obwodowych. Tak wygląda pojedynczy raport.

Ed: Kod źródłowy do pobrania danych i utworzenia poniższych wykresów jest dostępny z GitHuba

W poniższej analizie nie ma wyników z Warszawy. Z nieznanych mi przyczyn, jak dotąd brakuje wyników z warszawskich komisji.  Jeśli tutaj kliknąć na Warszawę, to zamiast listy obwodów wyborczych pojawia się pusta strona.

Zaczniemy od skrzyżowania wyników list z frekwencją:

Dla porównania - tak wygląda wynik z prawdopodobnie sfałszowanych wyborów w Rosji:

Kluczowe momenty

Mniej niż miesiąc temu programiści Twitter.com opublikowali pakiet dla R o nazwie BreakoutDetection. Pakiet umożliwia znajdowanie w danych momentów, w których nastąpiła zmiana reżimu:

• nagłe przesunięcie średniej - np. po uruchomieniu nowej aplikacji zużycie procesora zwiększa się o 20% i pozostaje takie przez pewien czas
• stopniowe przejście ze starego stanu do nowego stanu - np. po uruchomieniu nowej aplikacji zużycie procesora stopniowo rośnie do poziomu o 20% wyższego od obecnego i pozostaje takie przez pewien czas

Pakiet BreakoutDetection przeprowadza analizę używając algorytmu E-Divisive with Medians (EDM) i jest nieparametryczny, czyli nie nakłada żadnych założeń co do modelu danych. Algorytm używa median, więc jest odporny na odstające obserwacje.

Zobaczmy, co ciekawego można znaleźć w wynikach modelu nr 1.

Najpierw odfiltrowane wyniki historyczne. Poziome odcinki to średnie w danym okresie, pionowe fragmenty to momenty zmian wykryte przez algorytm.

Zobaczmy, o jakie konkretnie dni chodzi dla poszczególnych ugrupowań

Szkockie referendum 2014-09-18 (2)

Szkoci w stosunku 55,3% do 44,7% zagłosowali wczoraj za pozostaniem w Zjednoczonym Królestwie.

Wracam do tego tematu, bo  rozstęp wyniósł aż 10 punktów procentowych. Różnica tej wielkości powinna zostać wykryta w sondażach przedwyborczych, tymczasem wyglądały one tak:

Jeszcze o CBOS

W nocie o metodologii do ostatnich wyników CBOS pojawiło się zdanie:

Badanie przeprowadzono metodą wywiadów bezpośrednich wspomaganych komputerowo w dniach 3–9 lipca na liczącej 943 osoby reprezentatywnej próbie losowej dorosłych mieszkańców Polski.

Alerty Google wyszukują mi automatycznie codziennie informacje o sondażach i pracowniach. Dziś dostałem link do takiej publikacji. Nawet jeśli jest to tylko autorski blog Sławomira Sieradzkiego, to wypadałoby znać granice własnej kompetencji i nie pisać takich bzdur, jak to:

Analiza obciążenia wyników partii i pracowni

Pod ostatnią analizą wyników TNS pojawił się komentarz:

i jak to pogodzić z CBOSem? :/

bo CBOS trzy dni wcześniej pokazał coś zupełnie innego.

Częściową odpowiedzią jest bias. Z braku lepszego polskiego określenia będę posługiwał się słowem obciążenie. Chodzi tu o systematyczne obciążenie wyników danej partii prezentowanych przez daną pracownię.

Powodów takiego obciążenia może być wiele: niereprezentatywny dobór próby do badania, dostępność bazy adresowej, sposób zadawania pytań, metoda wykonywania sondażu, problem z dotarciem do ankietowanych, odmowy udzielenia wywiadu, itd.

Natomiast efekt obciążenia jest natomiast łatwo zauważalny - dane ugrupowanie w sondażach pochodzących z jednej pracowni ma lepsze (gorsze) notowania, niż w sondażach z innych pracowni.

O co chodzi w tej plątaninie linii? Niżej je rozplączemy.

Dlaczego nie warto zajmować się sondażami do eurowyborów?

Ciekawie, chociaż zbyt krótko, odpowiada prof. Mirosław Szreder z Uniwersytetu Gdańskiego na stronach "Rzeczpospolitej".

O reprezentatywności

Oto bardzo ciekawy artykuł m. in. o tym, jak rozumieć reprezentatywność sondażu i dlaczego wyniki Estymatora (oraz ewybory.eu) należy traktować z podejrzliwością, o czym nie omieszkałem uprzedzić.

Wynik modelu 1 - aktualizacja

Ugrupowanie Gowina "Polska Razem" trafiło już do wyników wszystkich największych sondażowni, mogłem więc dodać je do modelu nr 1.

Aktualne wyniki są na właściwej podstronie.