04 febrero 2009

Como hacer (o no hacer) una encuesta en un blog

Supongan que quiero hacer una encuesta en mi blog sobre un asunto cualquiera. Para ello pillo el artilugio "encuesta" en la página de diseño de Blogger y me pongo a redactar la pregunta y las opciones de respuesta. ¿Debo poner lo primero que se me ocurra o hay alguna regla que me ayude a diseñar un buen cuestionario?
En principio, hay 4 condiciones que nos garantizan que las cosas nos van a salir bien. Como son fáciles de respetar creo que merece la pena que antes de ponernos a teclear afanosamente nos tomemos un minuto y las tengamos en cuenta (luego las comento con algunos ejemplos):
  1. La pregunta debe ser clara y comprensible. Esto debería ser evidente pero hay ejemplos por ahí de lo contrario.
  2. Las respuestas deben ser semánticamente homogéneas, es decir, deben referirse al mismo criterio y no a enfoques distintos del problema.
  3. Las opciones de respuesta deben cubrir rangos diferentes, es decir, no deben solaparse entre sí.
  4. El conjunto de opciones debe cubrir el rango completo de respuestas.
Y ya está, no hay mucho más. Sin embargo, verán que esto no suele aplicarse con la frecuencia que sería aconsejable, les comento unos pocos ejemplos que ayuden a aclarar esos cuatro puntos y algunos otros que aparecen de vez en cuando.

1. En uno de los blogs que sigo, V nos plantea la cuestión: "aprendo de ciencia principalmente de..." y nos propone 4 respuestas:
  • revistas
  • internet
  • periódicos
  • televisión
Este es un caso donde la pregunta (formulada a su manera) es clara pero las opciones pueden plantearse mejor. Por ejemplo, "internet" es una forma de acceso mediante la cual llego a revistas, periódicos y televisión. La condición 3, por tanto, no se cumple: ¿qué contesto si aprendo principalmente de revistas pero accedo a estas normalmente por internet?
Tampoco las cuatro opciones que se dan cubren la totalidad de posibilidades de respuesta (condición 4); por ejemplo, sin llegar a la exhaustividad, se echa en falta la opción "libros".
¿Cómo podríamos corregir estos problemas y, ya de paso, obtener más información con el mismo esfuerzo? Personalmente (para gustos hay colores) usaría algo como "valore de 1 a 5 la importancia de cada fuente en su aprendizaje sobre ciencia" poniendo como opciones libros, revistas científicas, revistas de divulgación, periódicos, radio, televisión, blogs y, por si acaso, otros (que podrían ser, por ejemplo, "podcasts").

2. Un caso bastanta pintoresco es este ejemplo de Scrapper's Place, donde preguntan "Con cuánta frecuencia escribes en tus páginas?" con las opciones (incluyo los resultados):
  • siempre: 60%
  • a veces: 40%
  • nunca: 0%
En este caso, el principal problema es las opciones no dan respuesta adecuada a la pregunta: si nos preguntan por la frecuencia (¿cuántas veces hijo mío...?) ¿qué significa "siempre"? ¿todos los días, a todas horas? ¿dejo de escribir sólo para comer?
La tercera respuesta obtuvo cero con razón ¿cómo, si alguien tiene "páginas", no escribirá "nunca" en ellas?
Lógicamente, la forma adecuada de plantear las opciones sería proponer rangos de frecuencia reales adaptados al tema que se esté tratando.

3. Pasando a los medios de comunicación, en 20minutos.es preguntan ¿te darías de alta para recibir multas de tráfico por 'e-mail' y SMS? Y dan como opciones:
  • Sí, porque ahora nunca me entero de las multas que me ponen
  • No, si la DGT me quiere encontrar, que me busque
  • Me parece que el sistema actual es el más adecuado
Aquí aparece la manía, compartida con otros medios, de añadir una "coletilla" a las respuestas simples "sí" o "no" dándoles una intención. El resultado es que siempre falla la condición 4: mi voto puede ser "sí" o "no" por motivos completamente distintos de los presentados ahí (que, por cierto, son bastante tontos). Y en este caso minimalista también se rompe la condición 2 porque la tercera opción no tiene relación con las otras.
En 20 minutos esta historia se repite de forma constante en todas sus encuestas, parece que no pueden resistir la tentación de añadir la gracia. Lo más adecuado y simple es hacer como El Mundo, que en todos sus "debates" propone sólo dos respuestas "sí" y "no".

4. Finalmente, tampoco rne.es se luce en sus encuestas, por ejemplo:
¿Qué te han parecido los 8 años de la presidencia estadounidense de Bush?
  • El mundo es peor tras su mandato
  • Ha sabido enfrentarse al terrorismo
  • Ha defendido los intereses de la gran industria
En este caso, a una pregunta excesivamente genérica (¿qué opina del mar?) se añaden tres opciones que es posible aceptar simultáneamente o de dos en dos en combinaciones libres o, ya puestos, ninguna. Tampoco cubren todo el espectro de respuestas ni tienen que ver demasiado entre sí...

En fin, y vale ya de rollo. Termino comentando que un medio de comunicación profesional tiene mucha más responsabilidad que un bloguero que, a fin de cuentas, bastante hace con regalarnos su trabajo para que podamos leerlo y disfrutar de él. Por tanto, que no se entienda esto como una crítica sino como ejemplos para que mejoremos poco a poco. Tal vez me anime a mí mismo a poner aquí una encuesta alguna vez...

8 comentarios:

luis dijo...

Esta es la pregunta que los venezolanos votaremos el proximo 15 de diciembre para que cahvez se perpetue en el poder
(de paso, no hay ninguna informacion de como qudaran redactados esos articulos, que para ser honesto, nadie los conoce;
Aprueba usted la enmienda de los artículos 160, 162, 174, 192 y 230 de la Constitución de la República tramitada por la Asamblea Nacional, que amplía los derechos políticos del pueblo, con el fin de permitir que cualquier ciudadano o ciudadana, en ejercicio de un cargo de elección popular, pueda ser sujeto de postulación como candidato o candidata para el mismo cargo por el tiempo establecido constitucionalmente, dependiendo su posible elección exclusivamente del voto popular

luis dijo...

Y claro cumple con la norma que propones solo se puede votar Por el SI o el NO

Ángel M. Felicísimo dijo...

Diablos, no está mal, no. Sólo queda desearos suerte :-(

Ángel M. Felicísimo dijo...

Lo del si/no es una suerte, imagínate que te propusieran: si, no, psi, tal vez, lo que diga la rubia...

Pereque dijo...

Bueno, las cosas de Internet son más sondeos que encuestas. La encuesta tiene una metodología detrás que garantiza que la muestra sea representativa de la población a examinar, mientras que el sondeo de Internet la muestra se elige a sí misma, con los vicios que eso acarrea. Pero creo que de esos asuntos usted sabe más que yo.

Saludos.

Ángel M. Felicísimo dijo...

Por supuesto que tienes razón Pereque, nadie puede esperar que la muestra sea representativa de nada. De todas formas tampoco cuesta tanto hacer bien las preguntas y las opciones de respuesta (a menos que se haga como Wyoming en su "sondeo" diario).
>Pero creo que de esos asuntos usted sabe más que yo.
No se crea, oiga. Lo curioso del asunto es que estas "reglas" se me ocurrieron porque el diseño de leyendas en los mapas tienen que seguir las mismas condiciones (clases disjuntas, etc, etc...)
Por cierto, visitaré México a fin de año, me tomaré algo fuerte a su salud.

Jesus Casanova dijo...

estimado propietario del blog le pido muy atentamente de que de ver el comentario como e explicado necesito ayuda muchas gracias

Ángel M. Felicísimo dijo...

Jesús, las cosas no funcionan así. Cunado se entra en un blog ajeno se hacen comentarios sobre el post que enriquezcan sus contenidos, no se pide "entren en mi blog y dejen comentarios positivos".

Grab this Widget ~ Blogger Accessories
 
º