Según un estudio

Pepsi ha anunciado recientemente que va a eliminar el aspartamo de sus bebidas light en Estados Unidos y sustituirlo por sucralosa. Al parecer, la presencia de aspartamo es la razón principal por la que los norteamericanos consumen cada vez menos bebidas sin azúcar, lo que está afectando a las ventas. Este edulcorante ha estado rodeado de polémica desde su aprobación en 1974, proceso que se percibió como plagado de irregularidades, entre las que se incluían puertas giratorias y ocultación de pruebas. Años más tarde, en 1996, un reportaje de 60 minutos trasladó al público general los resultados de un estudio que identificaba este aditivo como la causa de tumores en ratones.

Lo cierto es que después de haber sido estudiado durante más de treinta años no se han encontrado pruebas sólidas de que el aspartamo sea dañino para los humanos. De hecho, dos recientes revisiones de todos los estudios disponibles han concluido que, en los niveles de consumo actuales, es un edulcorante seguro. Aún así, no es difícil encontrar sitios web dedicados a la lucha contra este aditivo.

El aspartamo es solo una de muchas sustancias químicas marcadas de por vida por el resultado de un trabajo voceado por los medios de información de masas. Al igual que ocurre con las vacunas, basta con un único estudio (cuyo método y diseño no tienen ni siquiera que ser sólidos) para sembrar la duda y asentar en el imaginario colectivo la idea de que la sustancia X produce la terrible Y, y que es algo a evitar. No es raro que todo ello venga acompañado del enfrentamiento de grupos partisanos surgidos como hongos y la creación de teorías conspiranoicas.

Aquí concurren dos problemas. El primero es la validez de los periódicos y los telediarios como fuente de información científica. Como escribe Ben Goldacre:

El mayor problema de las noticias sobre ciencia es que se nos presentan sistemáticamente vacías de evidencia científica. ¿Por qué? Porque los periódicos piensan que ustedes no entenderán la «parte científica» del asunto, por lo que todas las noticias sobre ciencia han de pasar previamente por un proceso de reducción de su nivel de dificultad, en un desesperado intento por seducir y atraer a los ignorantes, precisamente, aquellas personas a quienes no interesa la ciencia para nada (tal vez porque los periodistas creen que es buena para todos nosotros y que, por lo tanto, debería democratizarse).

[...] ¿Cómo sortean los medios el problema de su incapacidad para proporcionarnos la evidencia científica propiamente dicha? A menudo, lo hacen recurriendo a figuras de autoridad (un recurso que constituye la antítesis misma de la esencia de la ciencia) y tratándolas como si de curas, políticos o figuras paternas se tratara. «Un grupo de científicos ha dicho hoy que…» «Unos científicos han revelado que…» «Los científicos han advertido que…» Si al periódico o al espacio radiotelevisivo de turno le interesa introducir un poco de equilibrio, nos mostrarán a dos científicos en desacuerdo, aunque sin explicación alguna de por qué (un método cuya más peligrosa versión pudimos ver en acción cuando se extendió el mito de que los científicos estaban «divididos» en torno a la seguridad de la vacuna triple vírica): un científico «revela» algo y, entonces, otro lo «cuestiona». Más o menos, como si fueran caballeros Jedi.

Como ocurre tantas veces, si uno quiere información de calidad debe olvidarse de la prensa general y acudir a las publicaciones especializadas. De esa manera podremos saber qué se midió y cómo, así como lo que se descubrió, y no tendremos que fiarnos ciegamente de las conclusiones que el periodista de turno ha copiado y pegado directamente de la nota de prensa.

Los medios de comunicación son, por otro lado, víctima fácil del sesgo de publicación, esto es, el hecho de que tienden a publicarse únicamente los estudios que muestran un resultado positivo. Como explica magistralmente la viñeta de XKCD, este sesgo lleva a que se difundan en los medios conclusiones absurdas cuya veracidad es asumida por la población general prima facie. Claro que lo contrario también ocurre: a veces son los estudios que no lograron aparecer en prestigiosas revistas con revisión por pares los que se llevan directamente a la prensa para hacerse oír, ya que estos últimos son incapaces de filtrar nada basándose en la calidad del estudio.

Por desgracia, en esto de la ciencia hay más problemas aparte de los periodistas. Hacer ciencia es un proceso enteramente humano y, como tal, no es algo prístino llevado a cabo en un vacío ideal libre de pasiones, sesgos o instintos. La calidad del método científico depende de multitud de detalles que pueden pasarse por alto, bien por negligencia, bien por interés.

Lamentablemente, una de las industrias que más diligente debería ser en este sentido es la que más comportamientos reprobables exhibe. Les hablo de las empresas farmacéuticas. Estas empresas, por ejemplo, publican los resultados de los estudios que dan un resultado positivo, pero ocultan los que muestran que su medicina no es mejor que el placebo o el fármaco equivalente ya disponible. Las nuevas moléculas se estudian en poblaciones no representativas, pacientes ideales o atípicos, o personas que no serán los consumidores finales (por ejemplo, se prueban en personas sanas de países del tercer mundo medicamentos para enfermedades típicas de los países industrializados, como la diabetes). En sus estudios, estas compañías comparan el medicamento que están desarrollando con la peor alternativa posible, o con la mejor alternativa aplicada en dosis incorrectas. Interrumpen los ensayos clínicos en cuanto se atisba algún resultado positivo, aún cuando ello ocurra mucho antes de la fecha prevista de fin del mismo, con lo que se ocultan posibles efectos secundarios a largo plazo. Se recluta a poca gente para los estudios, aumentando así las posibilidades de obtener un resultado positivo simplemente por azar. Finalizado el estudio, los datos se masajean o torturan de mil maneras hasta conseguir una conclusión favorable. Y así siguiendo. El lector interesado puede consultar una buena lista de prácticas discutibles en el libro de Ben Goldacre dedicado a este tema.

Pero la medicina no es la única disciplina aquejada de ciertos males en su aplicación del método científico. La psicología, verbigracia, está afectada por el sesgo WEIRD, a saber, el hecho de que del sesenta al noventa por ciento de estudios se realiza en sujetos «western, educated, and from industrialized, rich, and democratic countries», a pesar de que estos representan únicamente un octavo de la población mundial. Y las ciencias sociales en general viven bajo la duda del problema de la replicación, una crisis de confianza surgida de los fallos obtenidos al tratar de replicar los resultados de una investigación dada en experimentos similares. En 2008, por ejemplo, Simone Schnall y sus colaboradores concluyeron en su estudio que la dureza de los juicios morales de las personas cambiaba según las sensaciones de limpieza o suciedad de los individuos, de manera que si –entre otras cosas– los sujetos del estudio se lavaban las manos antes de emitir un juicio moral, este resultaba ser menos severo. Sin embargo, David Johnson, Felix Cheun y Brent Donnellan repitieron el experimento y no encontraron dicho efecto. Este es solo uno de los estudios que aparecían en un número especial (les dejo un enlace alternativo por si no funciona el anterior) de la revista Social Psychology publicado el año pasado en el que se intentaron replicar veintisiete hallazgos importantes en psicología social. En esta misma línea, recientemente se han publicado los primeros resultados del estudio más ambicioso de este tipo, en el que se intentaban replicar los hallazgos de cien estudios de psicología. Los datos preliminares no son muy halagüeños.

En realidad, la «crisis de la replicación» no es específica de las ciencias sociales. Un célebre artículo de John P. A. Ioannidis publicado en 2005 aseguraba que la mayoría de los resultados publicados en medicina son falsos:

In 2005, an Athens-raised medical researcher named John P. Ioannidis published a controversial paper titled “Why Most Published Research Findings Are False.” The paper studied positive findings documented in peer-reviewed journals: descriptions of successful predictions of medical hypotheses carried out in laboratory experiments. It concluded that most of these findings were likely to fail when applied in the real world. Bayer Laboratories recently confirmed Ioannidis’s hypothesis. They could not replicate about two-thirds of the positive findings claimed in medical journals when they attempted the experiments themselves.

De ahí que sea tan importante realizar varias veces el mismo experimento, pues solo de esa manera podemos alcanzar cierto nivel de confianza en el resultado obtenido. En palabras de Karl Popper:

Only when certain events recur in accordance with rules or regularities, as is the case with repeatable experiments, can our observations be tested — in principle — by anyone. We do not take even our own observations quite seriously, or accept them as scientific observations, until we have repeated and tested them. Only by such repetitions can we convince ourselves that we are not dealing with a mere isolated ‘coincidence’, but with events which, on account of their regularity and reproducibility, are in principle inter-subjectively testable.

Con un solo estudio puede demostrarse casi cualquier cosa, y Google puede llevarnos a donde queramos. Para la mayoría, buscar pruebas significa poner en el buscador lo que queremos encontrar, como aquella amiga mía que introdujo la frase «la cerveza no engorda» para encontrar algo con lo que sostener su convencimiento. Esa es, obviamente, la forma errónea de actuar, pues lo importante a la hora de tomar una decisión es revisar todas las pruebas disponibles:

[Y]ou have to interpret a literature, not a single study. The results of one lab or one study can be erroneous. When decades have produced hundreds of studies on a question, the cherry pickers will always have a lot to choose from. That is why systematic reviews are necessary, and it is also necessary to understand the strengths and weaknesses of each type of research.

La imagen que ilustra este artículo es el logotipo de Cochrane Collaboration, una organización internacional e independiente de académicos voluntarios sin ánimo de lucro que elabora y publica revisiones sistemáticas de estudios médicos. Este logotipo es un diagrama de bosque de un metaanálisis realizado en su momento sobre la administración de corticoesteroides en bebés prematuros. Cada línea horizontal representa un estudio. Cuanto más larga es esta línea, más incierto fue el resultado del estudio. Si la línea se sitúa a la izquierda de la línea vertical significa que los esteroides fueron mejores que el placebo; si se sitúa a la derecha, significa que los esteroides funcionaron peor. La posición del rombo indica la respuesta obtenida del conjunto de todos los estudios. En este caso, dicho resultado muestra una reducción de entre el treinta y el cincuenta por ciento del riesgo de muerte del bebé prematuro cuando se le administran los esteroides. Hasta que no se publicó esta revisión en 1989 muchos bebés murieron al desconocer los óbstetras la efectividad de dicho tratamiento.

Sería maravilloso que existieran diagramas de bosque al alcance de la mano para cualquiera de nuestras preocupaciones, ya sean los edulcorantes, las vacunas, las ondas de radiofrecuencia, los transgénicos, el fracking o cualquier otro asunto importante. Actualmente existe un creciente movimiento a favor de la política basada en pruebas, el cual trata de llevar el método de investigación clínico a otras áreas, como las ciencias sociales. Desgraciadamente, como hemos hablado en varias ocasiones, es difícil que tenga un gran efecto. Siempre se pueden poner en duda las motivaciones de quien lo elabora, el método y las compañías que hay detrás. Y siempre nos toparemos con actitudes como la de Janet Starr Hull, la responsable de www.sweetpoison.com: «I will never accept the news of aspartame safety».