Skip to main content

“Las encuestas no están diseñadas ni construidas para pronosticar”

24 Noviembre 2017

Sociólogo José Manuel Gaete se refiere a las cuestionadas encuestas difundidas antes de la primera vuelta de la elección.

Uno de los temas más comentados en los medios de comunicación y en las redes sociales desde la elección del domingo es la validez de las encuestas. La propia Beatriz Sánchez se refirió a ellas en su intervención pública tras conocer los resultados: que se equivocaron de manera flagrante, que buscaban apoyar un eventual triunfo de Sebastián Piñera, que estaban manipuladas. Y sin duda, en vistas de que habrá una segunda vuelta, el tema seguirá vigente.

El sociólogo José Manuel Gaete, profesor de Métodos Cuantitativos en la carrera de Sociología de la Universidad de Valparaíso y doctor en Sociología por la Universidad de Salamanca, España, revisa el tema en detalle, enfatizando que “las encuestas, aunque sean probabilísticas, son una cámara fotográfica y sacan una foto. No están diseñadas ni construidas para pronosticar. Lo único que tú puedes hacer con una encuesta es ver una película hacia atrás y ver la tendencia que esa encuesta te va mostrando desde que se comenzó a aplicar. Lo que no puedes hacer es forzarla a que pronostique el futuro, porque las encuestas no están hechas para eso”.

Dos momentos

Para empezar, explica Gaete: “Lo primero que hay que pensar es que las encuestas se deben analizar en dos momentos: un momento que podemos llamar ex ante, que es en su diseño, construcción y aplicación, y un segundo momento, que es su análisis.

Y ahora me voy a referir a dos que han estado en la palestra, que son la CEP y la Cadem. Lo primero que hay que diferenciar es que no tienen comparación una con la otra; es decir, la CEP es una encuesta que no sólo tiene prestigio, sino que además metodológicamente está muy bien hecha; es una encuesta que tiene preguntas que están probadas durante bastante tiempo, tiene una muestra que es muy transparente —con respecto a las otras— y que en términos de cantidad es bastante superior al resto. Y lo más importante, es una muestra probabilística, cosa que no se puede decir de la Cadem”.

Sigue: “La Cadem define una muestra que es semiprobabilística, y con las muestras no probabilísticas tú no puedes hacer interpretación de la población. Eso es lo primero. No podemos comparar una encuesta como la CEP, que dada su metodología muestral permite hacer inferencias, hablar de la población, respecto de otra como la Cadem, que difícilmente puede hacer ese tipo de extrapolaciones. Lo único que queda entonces para analizar es la CEP, porque la otra, desde su diseño y aplicación, ya está invalidada. O al menos, para no ser tan taxativo, genera bastantes dudas”.

La segunda dimensión, sigue el académico, “es el análisis de los resultados de la CEP. El informe de la CEP —el público, el powerpoint que ellos entregan— en ningún lado dice que es un pronóstico. Ahí tenemos varios problemas. Lo primero: las encuestas, aunque sean probabilísticas, son una cámara fotográfica y sacan una foto. No están diseñadas ni construidas para pronosticar. Lo único que tú puedes hacer con una encuesta es ver una película hacia atrás y ver la tendencia que esa encuesta te va mostrando desde que se comenzó a aplicar. Lo que no puedes hacer es forzarla a que pronostique el futuro, porque las encuestas no están hechas para eso”.

La muestra no es la población

Un segundo problema, apunta José Manuel Gaete, “es que en la CEP, primero, se están tomando datos que son netamente muestrales como si fuesen poblacionales, y la muestra no es la población. Para que la muestra permita hacer proyecciones sobre la población, necesitas definir un margen de error y aplicarlo. Por ejemplo, si te dicen que Beatriz Sánchez sacó nueve puntos en la CEP —y ese es el gran escándalo que hay—, en realidad no sacó nueve puntos, porque ese es el indicador muestral. Lo que según esa encuesta sacaría —porque está mal hecha todavía—, si el margen de error es de 3,5 y ella saca nueve, a nivel poblacional no puedes dar una cifra única: lo que haces es dar un rango, y el rango es de nueve menos 3,5 y nueve más 3,5. O sea, llegaría hasta 12,5. Y eso para todos los candidatos”.

Ahora, “me puedes decir que aun aplicando eso, hay error. El problema es que no es el único error. Hay uno más grave todavía, y es que no se consideran los no sabe/no contesta, que en la publicación que hace la CEP son el 15,3 por ciento. Y no se puede equiparar esa cifra a los votos nulos o en blanco, porque esa estimación puntual para ese día se hace con los votantes probables; es decir, analizas porcentajes con toda la gente que te dice que efectivamente va a ir a votar. Pero hay un 15,3 que asegura que va a ir a votar pero todavía no sabe por quién. ¿Qué hacemos con ese 15,3? No podemos borrarlo del mapa”.

Hasta ahí, sigue el sociólogo, “tenemos un problema de estimación puntual: no se utiliza el margen de error, no se consideran los no sabe/no responde, y lo tercero, una dimensión temporal: la encuesta CEP —que ya dijimos que es la única que cumplía el requisito probabilístico— se hace en septiembre. Entonces es como decir que con la temperatura que hizo el 17 de septiembre voy a pronosticar la temperatura que hace el 17 de noviembre. Y no sólo eso, sino que desde el 17 de septiembre hasta la elección pasan muchas cosas, entre ellas una franja que va en horario prime y debates nacionales. Uno de los problemas que tenía Beatriz Sánchez era el grado de conocimiento; mientras la encuesta CEP dice que el 99 por ciento de los encuestados conocen a Piñera, sólo el 78 por ciento conoce a Beatriz Sánchez. Si tú la expones en ese período a una campaña puerta a puerta, la expones a debates y la expones a una franja, efectivamente su nivel de conocimiento va a aumentar. Tenemos estos tres problemas que no son considerados a la hora de analizar los datos; por lo tanto, no sabemos si se equivocaron”.

“Cocinar” la encuesta

El paso siguiente es “cómo hacemos pronósticos con ese dato que era de septiembre. El pronóstico que tú puedes hacer con una encuesta es hacer un arreglo, que en términos técnicos se llama ‘cocinar’ la encuesta. Te hago el siguiente símil: con el margen de error, considerando los hechos que pasaron entre que fue tomada la encuesta y la elección, y los no sabe/no contesta, tienes tres ingredientes, y ahora esos ingredientes hay que cocinarlos”, explica el profesor Gaete.

Sigue: “Hago un símil: por todo lo que explico, hoy día se toman mal los datos para analizarlos, y eso es como que quisieras evaluar una cazuela cuando sólo estás probando las papas, y crudas. Para que logres hacer la cazuela, en que por ejemplo el margen de error son las papas, la carne son los no sabe/no contesta y los eventos sucedidos entre la toma de datos y la elección son el zapallo, no te basta con tener sólo los ingredientes: tienes que cocinarlos. Y hay formas de cocinarlos. Entonces, para evaluar la cazuela tenemos que hacer una cazuela, y de momento lo único que se ha hecho es evaluar las encuestas en función de sus ingredientes. Y algunos ingredientes, porque otros se han pasado de largo”.

A lo anterior se suma otra problema: “Las encuestadoras en Chile no hacen pronósticos. Al menos la CEP, que yo sepa. Lo que uno puede hacer cuando analiza encuestas, es hacer su propio pronóstico, si es que la encuestadora no lo hace. Y hay veinte formas de hacer eso, como hay veinte formas de cocinar una cazuela. Qué quiero decir: puedes imputar a esos indecisos, que son un quince por ciento, por ejemplo dando a todos un porcentaje igual, o en función de dar un poco más a los que tienen más y menos a los que tienen menos, pero hay un montón de criterios. ¿Qué es lo que generalmente hacen los expertos?: imputan, es decir distribuyen ese quince por ciento al resto de los candidatos. Eso es manejo, eso se llama cocinar la encuesta. Es legítimo, se hace, lo que pasa es que tiene que hacerlo un especialista”.

Entonces, explica, “el camino que hay entre los resultados de una encuesta en bruto para llegar a una predicción —que la CEP no la hace— es de verdad exigirle a un auto que vuele, cuando sólo tiene ruedas. Es imposible. Y sólo estoy mencionando algunos elementos, hay otros que quedan en el tintero, pero que son más técnicos. Entonces, no sabemos si las encuestas se equivocaron o no porque no hay pronósticos”.

Los intermediarios

Ante la consulta de si son los medios de comunicación los responsables de la interpretación de los datos, José Manuel Gaete señala: “Pasa que hacer las cosas como he explicado sale muy barato, es más barato publicar así como está. Entonces, es como ‘estoy publicando un estimador que es muestral, para esa muestra con la que ni siquiera estoy cumpliendo el requisito mínimo para que haga una alusión a la población’. Y después más encima llegan las votaciones ¡y lo comparo! Pero si para compararlo necesitas, primero, el margen de error; segundo, necesitas saber para dónde van los no sabe/no contesta; tercero, necesitas ponderar, y en esta ‘cocina’ darle un peso a estas cosas que pasaron, como la franja, los debates, y ahí recién puedes decir ‘este es mi pronóstico’. Eso nunca se ha hecho”.

Por ello, es indispensable “leerlas en su calidad. Primero, diferenciar las que son probabilísticas de las que no. Y segundo, esto que está presentando en este caso la CEP, ¿es una foto o es una proyección? No puedo conocer el final de una película sólo conociendo una escena. Se ha instalado que las encuestas se equivocaron, aunque en realidad no hay forma de compararlas. Yo creo que hay un problema de interpretación y de lectura, que no me parece tan grave en la población en general, porque la gente no tiene por qué saber leer encuestas así como nosotros no sabemos leer radiografías. Pero sí me parece que es grave, por ejemplo, en los medios, porque son cosas básicas. Yo no digo que las encuestas son perfectas: lo que estoy diciendo es que no podemos evaluar algo que no está definido para ser evaluado. Una vez que hagamos eso, podremos ver si las encuestas se equivocaron o no. De momento no lo sabemos, porque no hay proyecciones”.


[b]Teorías conspirativas[/b] Mucho se ha hablado, particularmente en las redes sociales, de que hubo una suerte de conspiración, de la intención de favorecer a un candidato por sobre los otros. Al respecto, José Manuel Gaete dice: “Ahí hay un tema: que los mismos datos permiten cuestionar esta idea de que se trató de perjudicar a un candidato sobre otro. Porque las encuestas le daban menos porcentaje a Beatriz Sánchez, y se dice que por eso la gente votaría menos por ella. Pero lo mismo podría decir Kast. Ambos tienen el mismo fenómeno: fueron minimizados, supuestamente, por estas predicciones que no existen, al menos de la CEP. Ahí, entonces, no hay un sesgo político”. Prosigue: “Se dice que fue un sesgo a favor de Piñera. Ok, también se dice que las encuestas definen el voto. Si eso fuese cierto, ¿por qué Piñera sacó tan pocos votos? Si las encuestas manipulan, ergo, Piñera debería haber sacado mucho más porque lo estaban inflando. Y no sucedió eso tampoco”. Por ello, afirma, “estas —como yo les digo— teorías de la conspiración, a lo mejor algo de eso hay, pero lo único que estoy tratando de decir es que los datos al menos dicen que conspiran para todos, o al menos no conspiran para alguien específico, porque parece que se equivocan un poco para todos”. Entonces, ¿podría ser sólo un trabajo mal hecho, por ejemplo, de los medios? Dice el sociólogo: “Exactamente. Y no sólo de los medios. También de la academia, que no salimos a decir nada. También de gente que se supone que debería traducir estas cosas y no las traduce, gente que debería poner alertas y no las pone. Otro elemento más, y este es el más cuestionable: las proyecciones de las encuestas tienen dos funciones. Una, en este caso, es definir el orden de llegada, y otra, las magnitudes de llegada. En el orden, aun tomando las papas sin cocinar, sin nada, sin el arroz, sin la carne, sin ni una cuestión, estuvieron en el orden correcto. El problema es que validar ese orden significa también validar los estimadores puntuales, y no podemos hacer ni lo uno ni lo otro. Entonces, no sabemos cómo les fue a las encuestas”.