Sondaggi politici: quello che dovreste sapere in vista del referendum, ma che non vi hanno mai detto

Dopo Brexit e Trump l’idea è sempre più diffusa: i sondaggi non funzionano. O per lo meno non funzionano più. Ma è proprio vero? Approfondiamo il discorso, con l’aiuto di un po’ di statistica, per arrivare più preparati al referendum costituzionale del 4 dicembre.

---

“La più grande ambizione di Flaubert era scrivere un romanzo sul niente, se ti avesse conosciuta avrebbe avuto un grande spunto.”

Jep, alias Tony Servillo, in “La Grande Bellezza”

Ho pensato molto a Jep, mentre assistevo alle chiacchiere sul nulla volate nell’etere durante la puntata di Ottoemezzo del 12/11, nella quale si è parlato di sondaggi elettorali. I famigerati polls. Che, secondo la vox populi, “non funzionano”. Ma è proprio vero?

I sondaggi d’opinione, la Brexit e Mr. Trump

I sondaggi favorivano la vittoria di “Bremain” nel referendum britannico e di Hillary Clinton alle elezioni presidenziali USA. Invece hanno vinto Brexit e Trump. E così onta e sciagura sono calate su sondaggi e sondaggisti…

Piano, però. Prima d’inferire che i sondaggi sono tutti inattendibili, ragioniamo sulla natura delle previsioni fornite dai polls: sono probabilistiche, non deterministiche. E il cervello umano ha qualche difficoltà a maneggiare gli effetti del caso e le probabilità (vi consiglio di leggere “Giocati dal caso” di Nassim Taleb).

Mi spiegherò utilizzando l’imminente referendum costituzionale italiano come esempio. Al momento della redazione del post, secondo TermometroPolitico, il No e il Sì hanno rispettivamente il 52% e il 48% di probabilità di vittoria (ripetete con me: sono cifre che servono solo come esempio). Supponiamo che questi numeri siano attendibili. Per mettere le cose in giusta prospettiva dovete immaginare di essere in un multiverso, cioè un insieme di universi paralleli, come nel film Sliding Doors. Per semplicità immaginiamo che siano 100mila universi paralleli; in ciascuno di essi può dominare il No, o il Sì, con probabilità 52% e 48%. Ora mettiamoci nei panni di Dio (wow… sempre cool, anche se in realtà si tratta d’una prosaica simulazione Monte Carlo), facciamo svolgere 100mila referendum, e poi guardiamo i risultati nei primi 10 universi. Sorpresa, sorpresa, escono nell’ordine: Sì, Sì, Sì, No, No, Sì, No, Sì, Sì, Sì.

Attenzione: considerando tutti i 100mila universi possibili la percentuale di Sì è 47,97% e quella di No è 52,03%, valori vicinissimi alle probabilità originarie. Allora perché nei primi 10 universi sono saltati fuori 7 Sì e 3 No? È il caso, gente. Anche se lanciate una moneta perfetta 10 volte non è detto che escano 5 “testa” e 5 “croce”. Capace d’uscire 10 volte “testa” (ndr: la probabilità che ciò accada è 0,098%).

Insomma, tornando al nostro referendum, se è vero che il 52% del No domina sul 48% del Sì, non significa che il Sì non possa vincere. Idem con Trump vs Clinton, o Brexit vs Bremain. Fatevene una ragione: nella vita il caso conta più di quanto vi faccia piacere credere.

Inoltre, se una probabilità vi pare piccola e trascurabile, immaginate che quella sia la probabilità che un serial killer vi uccida a colpi d’ascia se quel giorno uscite di casa: vediamo se uscite o restate a letto…

Problemini dei sondaggi

Comunque, qualche problema i sondaggi ce l’hanno. Per rendersene conto occorre entare nella logica di un sondaggio d’opinione.

Tanto per iniziare, se volete conoscere l’opinione della popolazione, non serve intervistare TUTTI. Basta intervistare un numero sufficientemente grande di persone: un campione. Che deve essere casuale, e dovrebbe ricalcare le caratteristiche dell’intera popolazione. Poiché è impossibile che ciò avvenga perfettamente, ecco che emerge il margine d’errore di cui sentite parlare sui giornali e in televisione, o errore statistico. Il margine d’errore è di solito riportato così:

Il margine di errore relativo ai risultati del sondaggio (livello di rappresentatività del campione del 95%) è +/- 3.% per i valori percentuali relativi al totale degli intervistati (800 casi)

^{Tratto dal sito del Governo che raccoglie i sondaggi elettorali}

Un margine d’errore di ±3% con un livello di rappresentatività del 95% significa che, ripetendo il sondaggio 100 volte, vi potete aspettare che 95 volte il risultato del sondaggio cada entro 3 punti percentuali di distanza dal valore vero (ignoto). Lo so, dovete rileggere la frase perché è un concetto astruso, ma è così. In sostanza, il margine d’errore descrive quanto si pensa che il risultato di un sondaggio sia vicino al valore vero.

Se aveste per le mani un campione casuale di cittadini che ricalca fedelmente l’intera popolazione, il margine d’errore vi direbbe tutto sulla bontà della stima fornita dal sondaggio. E, poiché il margine d’errore è funzione decrescente della dimensione dal campione, eureka, basterebbe aumentare la dimensione del campione per ottenere risultati sempre più precisi. L’idea è esemplificata nel grafico seguente, che mostra l’aumento della precisione della stima dei votanti No al referendum all’aumentare della dimensione del campione (da 50 a 50mila individui).

 
Fichissimo: basta aumentare la dimensione del campione! Sfortunatamente non è così. C’è dell’altro, nel crudele mondo reale. Il margine d’errore riflette solo l’errore campionario, l’unico quantificabile con facilità. Ma esistono altri errori che colpiscono ferocemente i sondaggi:

• magari le persone interpellate non riflettono l’intera popolazione;
• magari le persone che rispondono non riflettono l’intera popolazione (spesso completano l’intervista 2÷4 persone ogni 10 interpellate);
• magari chi sceglie di non rispondere tende ad avere una determinata tendenza politica, ad esempio populistica;
• magari le persone interpellate non vanno a votare nelle proporzioni attese – ad esempio, se il campione riflette una popolazione votante costituita dal 48% di uomini e il 52% di donne, i cittadini potrebbero votare in proporzioni differenti;
• magari il modo con cui sono state definite domande e risposte non induce a rispondere correttamente, o con sincerità (ci si può vergognare, o avere timori a confessare pubblicamente la propria idea politiche – non è un caso che il voto sia segreto).

Questi errori (e, attenzione, ce ne sono altri) sono ben noti in statistica, e sono sicuramente annidati nei sondaggi che vi propinano: vi convincerò di questo con il grafico seguente. Riguarda il presunto vantaggio di Clinton su Trump, secondo vari sondaggisti, poco prima delle elezioni USA. Il vantaggio è espresso in punti percentuali, tenendo conto del margine d’errore; cioè viene rappresentato il vantaggio ± margine d’errore.  
 

Se l’errore nella stima dipendesse principalmente dalla dimensione del campione, le barre dovrebbero essere maggiormente allineate, non così sfalsate, perché varierebbe solo l’ampiezza delle barre, non il punto su cui sono centrate. Lo sfalsamento vistoso è il sintomo di errori profondi, di natura sistematica, diffusi in più d’un sondaggio. A posteriori, sappiamo che si sono manifestati.

Il grafico seguente – del tutto analogo al precedente – mostra che lo stesso tipo di sfalsamento nelle stime si nota nei sondaggi svolti in Italia in vista del referendum costituzionale del 4 dicembre, anche se l’entità del fenomeno appare inferiore. Notate inoltre quanto sia aleatoria la differenza tra No e Sì, e come possa quindi succedere di tutto.

Se gli errori sistematici sono significativi, qualsiasi previsione elettorale, nonché qualsiasi rielaborazione di tali risultati, sarà affetta dalla sindrome GIGO: Garbage In, Garbage Out (“spazzatura in ingresso, spazzatura in uscita”).

Ora, sentendo l’intervento a Otto e Mezzo, su La7, della dott.ssa Ghisleri, direttrice di Euromedia Research, qualche dubbio addizionale su come vengono effettuati i sondaggi elettorali in Italia io ce l’ho. Un paio di pugnalate statistiche mi hanno fatto piegare in due.

 

La prima pugnalata statistica della dott.ssa Ghisleri è questa:

“Se si fosse votato in quel momento, in quelle condizioni, quello era il fix (NdA: il risultato)”

No! No! È una stima probabilistica, potrebbe essere sbagliatissima, non è il risultato che si otterrebbe. Sembra una pignoleria, ma è importante, perché se no si fa disinformazione.

L’altra pugnalata, peggiore (più precisamente: da lancio del libretto universitario fuori dalla finestra ad un esame di Statistica), è questa:

“L’errore statistico (NdA: o margine d’errore) è quello che da qui al 4 dicembre potrebbe realizzarsi”

Quindi, secondo la dott.ssa Ghisleri, l’errore statistico (o margine d’errore) non è semplicemente l’errore di stima dovuto alla dimensione campionaria, bensì un concetto dinamico che tiene conto della possibile evoluzione delle opinioni dei cittadini. Bizzarramente interessante, ma purtroppo falso. Comunque, se siete arrivati fin qui nella lettura di questo post avete gli strumenti per capire da soli l’entità della castroneria detta a La7.

Così, mentre padri fondatori della statistica come Bayes, Laplace, Poisson, Kolmogorov, De Finetti gemono nelle loro tombe per quel che hanno dovuto udire, qui nel mondo dei vivi noi siamo sempre più dubbiosi sulla bontà dei sondaggi che ci vengono propinati.

Resta il fatto che, se si vuole sapere come la pensano i cittadini, i sondaggi d’opinione sono uno strumento valido, decisamente meglio che leggere le viscere d’un agnello. Da capire se il modo con cui sono strutturati oggi i polls è ottimale, o può essere migliorato – io francamente penso di sì, e ho anche qualche idea in merito (ad esempio utilizzare maggiormente la psicologia e l’approccio digitale, il machine learning, la statistica Bayesiana… ma potrei scrivere un post su questo, lasciamo perdere).

---

Acquista i nostri eBook dedicati al risparmio personale