Estadísticos advierten sobre falencias metodológicas en las encuestas más difundidas del país y alertan sobre el riesgo de basar decisiones públicas en resultados cuestionables.
Año de elecciones en Chile, y con ello, una oleada de encuestas de opinión pública que capturan titulares y generan intensos debates. Pero, ¿qué tan confiables son estos sondeos? Según los doctores en Bioestadística Francisco Cumsille, profesor de la Escuela de Salud Pública de la Universidad de Chile; Carlos Felipe Henríquez, académico del Instituto de Estadística de la Universidad de Valparaíso, y Sergio Muñoz, profesor del Departamento de Salud Pública de la Universidad de la Frontera, muchas de estas encuestas presentan serias falencias metodológicas que distorsionan la realidad y confunden a la opinión pública.
En una reciente columna de opinión, los especialistas analizaron cómo se elaboran estas mediciones y los riesgos que implican sus errores (columna disponible en este enlace).
“Desde hace bastante tiempo que las encuestas de opinión en Chile irrumpen con titulares rimbombantes que generan gran interés para la ciudadanía o parte específica de ella. Los resultados de estas encuestas se utilizan para discutir temas de interés nacional, e incluso —lo más preocupante aún— se toman decisiones con resultados técnicamente cuestionables. Es importante destacar que una buena discusión sobre un tema particular de interés general, sobre todo en aquellos en los cuales se deben tomar decisiones. debe estar basada, sí o sí, en datos de calidad, que deben ser recolectados con principios estadísticos sólidos”, sostuvieron.
Definición de la población encuestada
Utilizando ejemplos provenientes de las mismas empresas que realizan las encuestas en nuestro país, cuyos resultados regularmente son difundidos por la prensa, los académicos afirmaron que uno de los problemas más evidentes es la falta de claridad en la definición de la población encuestada.
En esa línea, señalaron que un caso recurrente es el uso indiscriminado de términos como "ciudadanos", "chilenos", "población" o "encuestados", sin dejar claro a quiénes se refieren los datos. Esto lleva a interpretaciones erróneas, especialmente cuando los medios de comunicación replican los resultados sin un análisis crítico.
“Hace algún tiempo, la prensa tituló ‘70 por ciento de los chilenos dicen preferir tener seguridad por sobre libertad’; sin embargo, más adelante, dice que ‘el 70 por ciento de los encuestados’. Otras encuestas recientes concluyen que ‘el 40,1 por ciento de la población’ o ‘el 53 por ciento piensa que’. Como vemos, las cifras a veces indistintamente se asocian a los chilenos, o a la población, o la ciudadanía, o a los encuestados, o simplemente es un número abstracto sin ninguna referencia a una población claramente definida. Esto genera confusión —o engaño— y en ocasiones pasa a ser un problema no menor”.
Asimismo, explicaron que “se supone que a través de una encuesta por muestreo se desea conocer alguna característica, opinión, conducta o preferencia de una población específica y predeterminada, y frente a la imposibilidad de investigar a toda la población, se obtienen datos de un subconjunto de ella. Pero para que los resultados obtenidos de ese subconjunto puedan ser generalizables a la población de origen, deben ocurrir ciertas cosas; lo principal, es que ese subconjunto sea seleccionado sobre la base de la teoría de muestreo probabilístico, incluyendo la determinación del tamaño de la muestra”.
En este sentido, expresaron que para que los resultados sean extrapolables a toda la población, la muestra debe seleccionarse bajo criterios probabilísticos rigurosos. Sin embargo, muchas encuestas en Chile utilizan paneles de voluntarios predispuestos a responder, lo que introduciría un sesgo significativo.
“Muchas de estas encuestas, como por ejemplo Pulso Ciudadano, IPSOS, Criteria, Tú Influyes, La Cosa Nostra (LCN) o Black and White, están aplicadas a un panel específico, los cuales, en general, se definen como comunidades constituidas por personas voluntarias predispuestas a participar en estudios de mercado, y de este panel se selecciona una muestra. Por otra parte, la mayoría de ellas definen una población objetivo, la que en general corresponde a los chilenos de dieciocho años y más de las dieciséis regiones del país. El problema que genera esto tiene que ver con la validez externa de los resultados (es decir, a qué población extrapolamos los resultados)”, afirmaron.
Agregaron que “dentro del panel, y para lograr un predeterminado número de encuestados, se requiere contactar a una cantidad mucho mayor de personas. En efecto, cuando se reporta la tasa de respuesta o de rechazo a participar, se menciona que menos de un diez por ciento de las personas contactadas respondieron la encuesta; lo mismo ocurre con las encuestas telefónicas, como CADEM, que refiere a este porcentaje como tasa de éxito. Por lo tanto, podemos deducir que existiría una tasa de fracaso de 90 por ciento”.
Además plantearon que “otra situación destacable es la de Studio Público, que realiza sus encuestas sobre una base de datos de correos electrónicos, y para obtener algo más de mil resultados se necesita hacer 60 mil envíos. Todo lo anterior genera un gran sesgo debido a que no se analiza la comparabilidad de características relevantes entre el grupo que responde con el que no responde. Como si lo anterior no fuera suficiente, las encuestas ponderan los resultados por ciertas características demográficas nacionales para lograr una ‘muestra de representación nacional para el universo en estudio’. La ponderación no logra compensar los sesgos y temas de validación antes mencionados. Es como hacer un estudio en una sola comuna y ponderar por datos nacionales: no los convierte en información a nivel global”.
Errores en la metodología
También relevaron que hay errores conceptuales graves en la forma en que las encuestadoras presentan sus metodologías: “Hay empresas encuestadoras que han cometido o cometen graves errores al describir su metodología. Por ejemplo, Tú Influyes menciona que ‘el margen de error, también denominado metodológicamente como intervalo de confianza…’. Metodológicamente hablando, en un proceso probabilístico, el intervalo de confianza se construye sobre la base del margen de error, pero no son la misma cosa. O Criteria, que menciona que se realiza un ‘muestreo aleatorio dentro del panel y estratificado por cuotas. El muestreo es una aproximación al método probabilístico…’. No es posible dejar pasar la afirmación de que ‘el muestreo es una aproximación al método probabilístico’, simplemente no se entiende”.
Adicionalmente, los académicos explicaron, que “en la metodología CADEM se afirma que ‘la muestra total semanal de 700 casos tiene un margen de error de ±3,7 puntos, bajo un muestreo de tipo probabilístico —estratificado por región y selección aleatoria del individuo— y asumiendo varianza máxima’; el problema es que ese margen de error está asociado a un muestreo aleatorio simple, pero sin embargo se nos comunica que es un muestreo estratificado y con selección de un individuo —lo que es curioso si el muestreo es de teléfonos celulares—, por lo que el error de muestreo debe ser determinado considerando dichas condiciones muestrales”.
Los ejemplos anteriores “son errores conceptuales inaceptables que ponen en duda la prolijidad de los procesos y por lo tanto la validez de sus resultados”, manifestaron los profesores.
El impacto de estos problemas no es menor, señalaron, porque cuando las encuestas se utilizan para justificar políticas públicas o estrategias de campaña, la falta de rigurosidad metodológica puede distorsionar la percepción ciudadana y afectar el rumbo del país: “Que se hagan las encuestas no es un problema en sí mismo; el verdadero problema está cuando los resultados son usados como certezas en los procesos de discusión de temas de interés público y particularmente en la toma de decisiones. Con resultados poco —o nada— confiables, se hace difícil conocer la opinión de la población sobre ciertos temas relevantes y sobre los cuales la política debe tomar acciones”, enfatizaron Cumsille, Henríquez y Muñoz.
Tradición estadística que no se refleja
Por otro lado, destacaron que Chile cuenta con una sólida tradición en estadística, con universidades que han formado especialistas en esta disciplina por más de 50 años. Sin embargo, esta experiencia no siempre se refleja en la práctica de muchas encuestadoras.
“Hace más de medio siglo que se imparten carreras de pregrado en Estadística en muchas universidades del país, como también se dictan programas de Magíster y Doctorado en esta área, lo que ha permitido conformar una importante comunidad especialista en estos temas, y por lo tanto resulta curioso —por decirlo de alguna forma— que esta experiencia no se vea reflejada en los procesos metodológicos de la mayoría —no todas, por cierto— de las encuestas”, sostuvieron.
Francisco Cumsille, Carlos Felipe Henríquez y Sergio Muñoz concluyeron que “definitivamente, el problema está en el método”, y añadieron que “es importante recordar que las políticas públicas son decisiones que impactan en las personas, mucho más allá de quienes las toman, y de allí que el uso de la evidencia científica es una ‘obligación ética insoslayable’, como menciona Domingo Comas en su libro sobre Investigación Científica. No basta con el discurso generalizado de que debemos hacer políticas públicas basadas en evidencia; es necesario y urgente construir un puente entre la ciencia y la política para que aquello sea una realidad. Para ello, lo primero es generar información válida y confiable”.
Nota: Pamela Simonetti / Fotos: Denis Isla
Relacionados
