X

La cocina de las encuestas: cómo se hacen, qué nos dicen y cuánto creerles

Requisitos y reputaciones. Metodologías, costos y la decisión de qué se muestra. Los “pedidos especiales”. La importancia de interpretar bien. ¿A qué hay que prestarle atención?
Requisitos y reputaciones. Metodologías, costos y la decisión de qué se muestra. Los “pedidos especiales”. La importancia de interpretar bien. ¿A qué hay que prestarle atención?
Por 17/03/2019 10:00

Se presentan como una fotografía de esa nebulosa que se da en llamar “opinión pública” pero, más en lo profundo, son una herramienta clave para su conformación. Aciertan o fallan, a veces por escándalo. Desconfiamos de ellas, pero las buscamos con ahínco, sobre todo cuando se acercan tiempos electorales. ¿Cómo se hacen las encuestas? ¿Cuáles son sus formatos? ¿Qué dicen y qué velan? Y, lo más importante, ¿podemos creerles?

En la precampaña 2019, los sondeos de intención de voto ya se perfilan como un aluvión, en medio de la certeza (¿será tal?) de la polarización entre Mauricio Macri y Cristina Fernández de Kirchner y de la posibilidad (¿será que existe?) de una tercera vía, ya sea externa o interna a Cambiemos.

 

 

JOYA, NUNCA TAXI. Para empezar, los papeles deben estar en orden y trabajar en el mercado nacional de las encuestas requiere estar inscripto ante la Cámara Nacional Electoral. “Hay que enviar una ficha técnica de los estudios, pero la verdad es que no hay mayor contralor ni auditoría. En definitiva, todo se reduce a una cuestión de confianza del público en quiénes las elaboran”, le dijo a Letra P un referente del segmento.

 Además, es recomendable, aunque no obligatorio, que los profesionales se rijan por códigos de ética y de procedimientos estandarizados por entidades internacionales, como la World Association for Public Opinion Research (WAPOR) o la European Society for Opinion and Marketing Research (ESOMAR). Estas tienen estándares muy estrictos en lo que hace a cómo trabajar, cómo proceder ante los clientes y cómo publicar los resultados. “Pero muchos colegas no solo no se sujetan a esas normas sino que ni siquiera saben que existen”, disparó la fuente. “La mala praxis, que existe, no se trata necesariamente de maldad. En muchos casos hay personas que ven un filón lucrativo pero no tienen la preparación suficiente”, agregó.

CUANDO EL MÉTODO Y EL TAMAÑO IMPORTAN. La metodología de los estudios es un asunto crucial para determinar su confiabilidad, aunque muchas veces, por desconocimiento o un equivocado sentido de la economía de la información, los medios no la informen.

Las que están más a mano son las Interactive Voice Response (IVR, “respuesta interactiva por voz”), en las que el encuestado contesta telefónicamente las preguntas estandarizadas de un sistema y va pulsando los botones de acuerdo con las preferencias que se le presentan a modo de un multiple choice.

“Son las más baratas, pero también las de menor calidad. El gran problema que tienen es que, justamente por su carácter automatizado, hacen muy difícil obtener muestras fidedignas y precisas de los grupos etarios, de género y nivel de ingresos, entre otras variables que se buscan”, le dijo a este portal otra fuente del sector.

“Es muy frecuente que quienes más atienden y responden ese tipo de estudios sean personas mayores y mujeres. Lo recomendable es programar los llamados en horarios vespertinos o en fines de semana, para tener más respuestas de hombres y de gente joven. Esto igual es insuficiente y, aunque se puede compensar con una continuidad del rastreo de los grupos que van quedando sub representados, lo cierto es que se genera habitualmente un problema de ponderación en la muestra”, explicó.

La ventaja de los IVR es que son baratos. Además, con una muestra pequeña es posible salir a los medios con números que le dan exposición pública en los medios al responsable del estudio. “Pueden servir pero si se las hace bien, con muchos casos, aunque eso cuesta plata. Ahora, si se las hace sobre 200 respuestas y las presenta como hechas sobre 600 o sobre 1.000, ¿quién lo puede refutar?”, dijo este encuestador.

Aunque sus autores sean remisos a informarlo, la gran mayoría de las encuestas son encargadas (pagadas) por alguien que, desde ya, tiene un interés propio. Por sus características, las IVR pueden ser una excepción de quien busque exposición mediática, pero las patriadas terminan ahí.

Aunque sus autores sean remisos a informarlo, la gran mayoría de las encuestas son encargadas (pagadas) por alguien que, desde ya, tiene un interés propio.

En el otro extremo, el de la mayor confiabilidad, se encuentran las presenciales, que involucran trabajo de campo, con encuestadores recorriendo los barrios y tocando timbres. Claro, son las más caras, con un piso mínimo de 600 casos para que tengan una relevancia al menos modesta.

“Otra vez aparece el mismo problema: ¿cómo se verifica con cuántos casos se trabajó? No hay una reglamentación de eso, sino que queda librado a la ética de cada uno”, insistió la fuente.

Una alternativa intermedia en costo y confiabilidad es la de los estudios telefónicos con un encuestador humano, es decir, sin un sistema automatizado de preguntas. Esto, por ejemplo, permite recoger respuestas múltiples y más elaboradas. Y, por último, está la posibilidad de un sondeo telefónico mixto, que combine llamadas a viviendas de sectores sociales más acomodados y visitas concretas en los barrios humildes, en los que la cobertura de la red telefónica tradicional es menor. Esto último “es un parche, desde ya, pero ayuda a arrimar el bochín”, indicó la fuente.

Por último, un caso aparte lo constituyen las nuevas encuestas que se realizan por internet, de buen desarrollo en Estados Unidos y Europa pero que por ahora presentan inconvenientes en la Argentina, donde muchos usuarios tienen conectividad prepaga y un manejo menos efectivo de esa tecnología, sobre todo en rangos de edad más altos.

QUE LAS HAY, LAS HAY. Las trampas, por supuesto. Vivimos, al fin y al cabo, en la era de las fake news y todo está bajo escrutinio. “En el mercado se sabe qué políticos pagan y qué encuestadores cobran por retocar números de las encuestas que se difunden. Quienes hacen ese tipo de cosas, las hacen así, rústicamente, porque hacer toda una encuesta con un muestreo que intencionalmente lleve a determinados resultados sería antieconómico”, le dijo a Letra P un profesional que asegura ver “algunas cosas raras”.

La apuesta en tales casos es a posicionar candidatos y a producir escenarios. “Yo dudo de que, más allá de que está mal, sea una práctica efectiva. Eso se usa más que nada para mostrar en el ‘círculo rojo’, para recaudar. Aunque ahí también están cada vez más alertas a ese tipo de maniobras”, abundó.

En ese sentido, es conocido que a veces se hacen sondeos “para el candidato” y otros “para difundir”. “También está quien le puede mentir a su cliente para no darlo tan abajo y no perder una fuente de ingresos. Hay problemas éticos en todas las disciplinas”, señaló el consultor consultado.

Es conocido que a veces se hacen sondeos “para el candidato” y otros “para difundir. Hay problemas éticos en todas las disciplinas”.

CUESTIÓN DE SAVOIR FAIRE. Los encuestadores experimentados confían mucho en lo que llaman “muñeca”, lo que no significa torcer números. “Los datos hablan si uno los viene escuchando hace tiempo, lo que permite ponderar, trazar escenarios”, dijo uno de los consultados.

En ese sentido, estos se jactan de no ahorrar dinero en el procesamiento de esos datos. Estos, explican, son cargados en sistemas que segmentan y vuelcan las preferencias. Algunas de esas modalidades de procesamiento son más “caseras”, pero los sistemas realmente buenos suelen ser tercerizados y onerosos. “Es un trabajo muy fino, que sirve para asesorar al cliente y que no es lo publicado”, señaló.

Otra herramienta que este segmento de profesionales valora cada vez más es la de los focus group, tan usados por Cambiemos y el equipo de Jaime Durán Barba, aunque advierten que hay quienes no saben cómo organizarlos ni interpretarlos.

 

El consultor ecuatoriano Jaime Durán Barba.

 

“Se trata de un método cualitativo, que no pretende que la gente que se sienta a una mesa sea una muestra porcentualmente representativa de la sociedad. Lo que se hace es buscar un mix de personas, con edades, género y preferencias diversas, para escuchar sus reflexiones. Es una herramienta que da pistas y que, después, orienta para sí salir a medir mejor”, dijo la última de las fuentes.

“Hay algunos que hablan de porcentajes en base a los focus, pero eso es una barrabasada. No entienden que la idea es, ni más ni menos, que entrar al mundo simbólico para construir cuestionarios y obtener pistas”, añadió en clave crítica.

 

 

CONSEJOS PARA DESORIENTADOS. La picaresca del mundo de las encuestas incluye los bocas de urna que, cuando erran, es porque están más destinados a atar a la militancia a las urnas a la hora de escrutinios bravos que para construir una reputación.

"Los bocas de urna solamente valen cuando se los hace cara a cara. Lamentablemente unos pocos nos hacen quedar mal a todos”, se lamentó uno de los consultados para esta nota. Algo de eso hubo en las horas posteriores a la última elección en Neuquén.

Otra trampa es la de presentar números engañosos en la previa de unos comicios y atribuir la desviación final al voto útil dado por “cambios de último momento”. Esto también se argumentó en algún caso en la primera elección de este año caliente.

Hay también culpas en la prensa, que muchas veces omite mencionar el tipo de encuesta que divulga, su ficha técnica y, sobre todo, su margen de error.

“Suele decirse que el candidato X creció un punto (porcentual) cuando el margen de error es más-menos dos puntos. ¡Eso es absurdo y pasa siempre! Una cosa es la diferencia numérica y otra es la que realmente resulta significativa a nivel estadístico. Si el margen de error es de cuatro puntos, diez no es más que nueve, es lo mismo”, explicó el último. “Lo más alarmante es que hay encuestadores que caen en ese error”, reconoció.

Al ciudadano común se le puede recomendar también que preste atención a detalles como el de las entrevistas que se reportan y en qué plazo se afirma haberlas realizado. “Si alguien dice que hizo mil entrevistas presenciales en cinco días, miente. Eso es imposible”, dijo una de las fuentes.

Asimismo, no hay que confundir los muchos sondeos que se hacen en “grandes ciudades” con los verdaderamente nacionales.

Pero, sobre todo, hay que reparar en quién contrata y, sobre todo, en el historial de precisión de cada profesional y consultora. El resto puede ser un acto de fe.

La cocina de las encuestas: cómo se hacen, qué nos dicen y cuánto creerles

Requisitos y reputaciones. Metodologías, costos y la decisión de qué se muestra. Los “pedidos especiales”. La importancia de interpretar bien. ¿A qué hay que prestarle atención?

Se presentan como una fotografía de esa nebulosa que se da en llamar “opinión pública” pero, más en lo profundo, son una herramienta clave para su conformación. Aciertan o fallan, a veces por escándalo. Desconfiamos de ellas, pero las buscamos con ahínco, sobre todo cuando se acercan tiempos electorales. ¿Cómo se hacen las encuestas? ¿Cuáles son sus formatos? ¿Qué dicen y qué velan? Y, lo más importante, ¿podemos creerles?

En la precampaña 2019, los sondeos de intención de voto ya se perfilan como un aluvión, en medio de la certeza (¿será tal?) de la polarización entre Mauricio Macri y Cristina Fernández de Kirchner y de la posibilidad (¿será que existe?) de una tercera vía, ya sea externa o interna a Cambiemos.

 

 

JOYA, NUNCA TAXI. Para empezar, los papeles deben estar en orden y trabajar en el mercado nacional de las encuestas requiere estar inscripto ante la Cámara Nacional Electoral. “Hay que enviar una ficha técnica de los estudios, pero la verdad es que no hay mayor contralor ni auditoría. En definitiva, todo se reduce a una cuestión de confianza del público en quiénes las elaboran”, le dijo a Letra P un referente del segmento.

 Además, es recomendable, aunque no obligatorio, que los profesionales se rijan por códigos de ética y de procedimientos estandarizados por entidades internacionales, como la World Association for Public Opinion Research (WAPOR) o la European Society for Opinion and Marketing Research (ESOMAR). Estas tienen estándares muy estrictos en lo que hace a cómo trabajar, cómo proceder ante los clientes y cómo publicar los resultados. “Pero muchos colegas no solo no se sujetan a esas normas sino que ni siquiera saben que existen”, disparó la fuente. “La mala praxis, que existe, no se trata necesariamente de maldad. En muchos casos hay personas que ven un filón lucrativo pero no tienen la preparación suficiente”, agregó.

CUANDO EL MÉTODO Y EL TAMAÑO IMPORTAN. La metodología de los estudios es un asunto crucial para determinar su confiabilidad, aunque muchas veces, por desconocimiento o un equivocado sentido de la economía de la información, los medios no la informen.

Las que están más a mano son las Interactive Voice Response (IVR, “respuesta interactiva por voz”), en las que el encuestado contesta telefónicamente las preguntas estandarizadas de un sistema y va pulsando los botones de acuerdo con las preferencias que se le presentan a modo de un multiple choice.

“Son las más baratas, pero también las de menor calidad. El gran problema que tienen es que, justamente por su carácter automatizado, hacen muy difícil obtener muestras fidedignas y precisas de los grupos etarios, de género y nivel de ingresos, entre otras variables que se buscan”, le dijo a este portal otra fuente del sector.

“Es muy frecuente que quienes más atienden y responden ese tipo de estudios sean personas mayores y mujeres. Lo recomendable es programar los llamados en horarios vespertinos o en fines de semana, para tener más respuestas de hombres y de gente joven. Esto igual es insuficiente y, aunque se puede compensar con una continuidad del rastreo de los grupos que van quedando sub representados, lo cierto es que se genera habitualmente un problema de ponderación en la muestra”, explicó.

La ventaja de los IVR es que son baratos. Además, con una muestra pequeña es posible salir a los medios con números que le dan exposición pública en los medios al responsable del estudio. “Pueden servir pero si se las hace bien, con muchos casos, aunque eso cuesta plata. Ahora, si se las hace sobre 200 respuestas y las presenta como hechas sobre 600 o sobre 1.000, ¿quién lo puede refutar?”, dijo este encuestador.

Aunque sus autores sean remisos a informarlo, la gran mayoría de las encuestas son encargadas (pagadas) por alguien que, desde ya, tiene un interés propio. Por sus características, las IVR pueden ser una excepción de quien busque exposición mediática, pero las patriadas terminan ahí.

Aunque sus autores sean remisos a informarlo, la gran mayoría de las encuestas son encargadas (pagadas) por alguien que, desde ya, tiene un interés propio.

En el otro extremo, el de la mayor confiabilidad, se encuentran las presenciales, que involucran trabajo de campo, con encuestadores recorriendo los barrios y tocando timbres. Claro, son las más caras, con un piso mínimo de 600 casos para que tengan una relevancia al menos modesta.

“Otra vez aparece el mismo problema: ¿cómo se verifica con cuántos casos se trabajó? No hay una reglamentación de eso, sino que queda librado a la ética de cada uno”, insistió la fuente.

Una alternativa intermedia en costo y confiabilidad es la de los estudios telefónicos con un encuestador humano, es decir, sin un sistema automatizado de preguntas. Esto, por ejemplo, permite recoger respuestas múltiples y más elaboradas. Y, por último, está la posibilidad de un sondeo telefónico mixto, que combine llamadas a viviendas de sectores sociales más acomodados y visitas concretas en los barrios humildes, en los que la cobertura de la red telefónica tradicional es menor. Esto último “es un parche, desde ya, pero ayuda a arrimar el bochín”, indicó la fuente.

Por último, un caso aparte lo constituyen las nuevas encuestas que se realizan por internet, de buen desarrollo en Estados Unidos y Europa pero que por ahora presentan inconvenientes en la Argentina, donde muchos usuarios tienen conectividad prepaga y un manejo menos efectivo de esa tecnología, sobre todo en rangos de edad más altos.

QUE LAS HAY, LAS HAY. Las trampas, por supuesto. Vivimos, al fin y al cabo, en la era de las fake news y todo está bajo escrutinio. “En el mercado se sabe qué políticos pagan y qué encuestadores cobran por retocar números de las encuestas que se difunden. Quienes hacen ese tipo de cosas, las hacen así, rústicamente, porque hacer toda una encuesta con un muestreo que intencionalmente lleve a determinados resultados sería antieconómico”, le dijo a Letra P un profesional que asegura ver “algunas cosas raras”.

La apuesta en tales casos es a posicionar candidatos y a producir escenarios. “Yo dudo de que, más allá de que está mal, sea una práctica efectiva. Eso se usa más que nada para mostrar en el ‘círculo rojo’, para recaudar. Aunque ahí también están cada vez más alertas a ese tipo de maniobras”, abundó.

En ese sentido, es conocido que a veces se hacen sondeos “para el candidato” y otros “para difundir”. “También está quien le puede mentir a su cliente para no darlo tan abajo y no perder una fuente de ingresos. Hay problemas éticos en todas las disciplinas”, señaló el consultor consultado.

Es conocido que a veces se hacen sondeos “para el candidato” y otros “para difundir. Hay problemas éticos en todas las disciplinas”.

CUESTIÓN DE SAVOIR FAIRE. Los encuestadores experimentados confían mucho en lo que llaman “muñeca”, lo que no significa torcer números. “Los datos hablan si uno los viene escuchando hace tiempo, lo que permite ponderar, trazar escenarios”, dijo uno de los consultados.

En ese sentido, estos se jactan de no ahorrar dinero en el procesamiento de esos datos. Estos, explican, son cargados en sistemas que segmentan y vuelcan las preferencias. Algunas de esas modalidades de procesamiento son más “caseras”, pero los sistemas realmente buenos suelen ser tercerizados y onerosos. “Es un trabajo muy fino, que sirve para asesorar al cliente y que no es lo publicado”, señaló.

Otra herramienta que este segmento de profesionales valora cada vez más es la de los focus group, tan usados por Cambiemos y el equipo de Jaime Durán Barba, aunque advierten que hay quienes no saben cómo organizarlos ni interpretarlos.

 

El consultor ecuatoriano Jaime Durán Barba.

 

“Se trata de un método cualitativo, que no pretende que la gente que se sienta a una mesa sea una muestra porcentualmente representativa de la sociedad. Lo que se hace es buscar un mix de personas, con edades, género y preferencias diversas, para escuchar sus reflexiones. Es una herramienta que da pistas y que, después, orienta para sí salir a medir mejor”, dijo la última de las fuentes.

“Hay algunos que hablan de porcentajes en base a los focus, pero eso es una barrabasada. No entienden que la idea es, ni más ni menos, que entrar al mundo simbólico para construir cuestionarios y obtener pistas”, añadió en clave crítica.

 

 

CONSEJOS PARA DESORIENTADOS. La picaresca del mundo de las encuestas incluye los bocas de urna que, cuando erran, es porque están más destinados a atar a la militancia a las urnas a la hora de escrutinios bravos que para construir una reputación.

"Los bocas de urna solamente valen cuando se los hace cara a cara. Lamentablemente unos pocos nos hacen quedar mal a todos”, se lamentó uno de los consultados para esta nota. Algo de eso hubo en las horas posteriores a la última elección en Neuquén.

Otra trampa es la de presentar números engañosos en la previa de unos comicios y atribuir la desviación final al voto útil dado por “cambios de último momento”. Esto también se argumentó en algún caso en la primera elección de este año caliente.

Hay también culpas en la prensa, que muchas veces omite mencionar el tipo de encuesta que divulga, su ficha técnica y, sobre todo, su margen de error.

“Suele decirse que el candidato X creció un punto (porcentual) cuando el margen de error es más-menos dos puntos. ¡Eso es absurdo y pasa siempre! Una cosa es la diferencia numérica y otra es la que realmente resulta significativa a nivel estadístico. Si el margen de error es de cuatro puntos, diez no es más que nueve, es lo mismo”, explicó el último. “Lo más alarmante es que hay encuestadores que caen en ese error”, reconoció.

Al ciudadano común se le puede recomendar también que preste atención a detalles como el de las entrevistas que se reportan y en qué plazo se afirma haberlas realizado. “Si alguien dice que hizo mil entrevistas presenciales en cinco días, miente. Eso es imposible”, dijo una de las fuentes.

Asimismo, no hay que confundir los muchos sondeos que se hacen en “grandes ciudades” con los verdaderamente nacionales.

Pero, sobre todo, hay que reparar en quién contrata y, sobre todo, en el historial de precisión de cada profesional y consultora. El resto puede ser un acto de fe.