Por Eduardo Zylberstajn, Matheus Rezende Dias e Raone Costa
A diferença entre o que as pesquisas eleitorais para a presidência nos EUA mostravam e o que as urnas revelaram deixou muitos americanos e boa parte do resto do mundo em choque. Durante praticamente toda a campanha, as pesquisas mostravam liderança da candidata derrotada. Ao mesmo tempo, a maioria dos modelos de previsão mais respeitados apontavam para uma probabilidade relativamente pequena de vitória de Donald Trump - e deu no que deu. As pesquisas simplesmente erraram por lá. E por aqui, quanto erram nossas pesquisas eleitorais?
No Brasil, não é incomum encontrarmos também grandes diferenças entre as pesquisas eleitorais e os resultados finais dos pleitos. Por exemplo, na última eleição para prefeito de São Paulo, o Ibope divulgou na véspera das eleições que o então líder das intenções de votos, João Dória, tinha 35% dos votos válidos. Um dia depois dessa divulgação, Dória foi eleito com 53,1%.
A grande magnitude da diferença vista nesse exemplo chama a atenção, mas ele não é caso único nem de longe. Pelo que se lê nas redes sociais, há uma percepção de que é relativamente comum termos resultados eleitorais bastante diferentes do que as pesquisas indicavam. Será que essa percepção encontra respaldo na realidade? E se sim, qual o tamanho dos erros que os principais institutos de pesquisa cometem?
As pesquisas costumam ser divulgadas acompanhadas por uma frase mais ou menos assim: "a margem de erro dessa pesquisa é de 3 pontos percentuais para mais ou para menos, com intervalo de confiança de 95%" (a margem de erro pode ser outra, como 2 ou 4 pontos). Essa frase nos diz que se uma pesquisa diz que o candidato A tem 30% das intenções de votos numa pesquisa, ele pode ter entre 27% e 33%, mas é pouco provável que ele tenha 25%.
Analisando pesquisas e resultados de eleições dos últimos três ciclos eleitorais - 2012, 2014 e 2016, vemos indícios de que a margem de erro normalmente indicada pelos institutos (entre 2% e 3%) é, na verdade, de 7,5% pontos percentuais para mais ou para menos. Para chegar a esse número, comparamos o desempenho de cada candidato em pesquisas de boca de urna ou divulgadas nas vésperas de 73 pleitos para prefeito, governador e presidente (tanto de primeiro como de segundo turno) com os resultados observados nas urnas. Ao final do texto, detalhamos melhor nossa metodologia.
Essa margem de erro implica que o intervalo no qual a real pontuação dos candidatos se encontra é de 15 pontos, ao invés dos usuais 4 ou 6, o que coloca em cheque a precisão das pesquisas. De fato, apenas 54% das pesquisas com margem de 2 pontos e 71% das pesquisas com margem de 4 pontos acertaram suas projeções. Ou seja, as pesquisas ficam (muito) longe dos 95% desejados.
É verdade que parte dos votos só é decidida no momento em que os eleitores caminham para a urna, então não é tecnicamente correto chamar toda a diferença entre as enquetes de véspera e os resultados de 'erro'. Também deve-se notar que nosso exercício não é exatamente o mesmo que a teoria prevê: quando se diz que o intervalo de confiança é de 95%, isso significa que se 100 pesquisas fossem feitas naquele momento, 95 delas deveriam ter resultados com diferença dentro da margem de erro reportada e que a diferença entre o total da população e o que aponta a pesquisa se dá apenas pela aleatoriedade da amostra pesquisada. Nós não fazemos repetições das pesquisas e há diferenças (pequenas) do momento em que a pesquisa é feita para o momento em que o voto é computado. De qualquer modo, como temos um número razoável de observações, esperávamos um comportamento mais próximo ao que a teoria prevê. Então, nas próximas eleições, não desanime se seu candidato estiver 5% ou mesmo 10% atrás do adversário: há uma chance considerável dos números finais da eleição bastante diferentes.
Metodologia: Para os três últimos ciclos eleitorais (2012, 2014 e 2016), comparamos os resultados de cada candidato nas urnas com as intenções de voto medidas pelas pesquisas de boca de urna e na véspera dos pleitos pelos institutos Ibope, Datafolha, MDA, Vox Populi e Sensus (foram 129 pesquisas em 73 pleitos no total). Consideramos disputas de 73 cargos de prefeito (Belém, Belo Horizonte, Campinas, Curitiba, Fortaleza, Goiânia, Londrina, Manaus, Porto Alegre, Recife, Ribeirão Preto, Rio de Janeiro, Salvador, São Luís, São Paulo, Petrolina, João Pessoa, Campo Grande, Aracaju, Araraquara, São Carlos, Vitória e Sorocaba), governador (Acre, Amazonas, Amapá, Bahia, Ceará, Distrito Federal, Goiás, Minas Gerais, Mato Grosso do Sul, Pará, Pernambuco, Paraná, Rio de Janeiro, Rio Grande do Norte, Rondônia, Rio Grande do Sul e São Paulo) e presidente. Excluímos candidatos com menos de 5% de votos e com isso tivemos 361 observações (candidatos em pesquisas e comparados ao resultado final). O erro médio (média da diferença entre pesquisa e resultado) foi de -0,214 pontos percentuais; o erro mediano foi de -0,062 p.p. e o erro absoluto médio foi de 2,702 p.p.
