Mala ciencia

Consultores, entrenadores, economistas, gurús de las relaciones personales o de la vida en general, consejeros de celebridades, asesores financieros, directores generales, comentaristas deportivos, tertulianos... como ya hablamos, abundan los expertos. Pueblan el espectro electromagnético y nos hacen llegar sus consejos (normalmente equivocados) a través de la televisión, la radio o internet. A la hora de defender sus argumentos suelen apelar a su experiencia personal, al éxito de su carrera o a un puñado de historias de gente que siguió sus consejos y logró un final feliz. Si se les interroga sobre sus fuentes de conocimiento, la respuesta varía según el asunto tratado. Un experto en felicidad puede recurrir a antiguos textos budistas. Un experto en finanzas puede invocar el nombre de grandes autoridades en la materia (algún premio Nobel, por ejemplo). Pero la mayor parte de ellos, en algún momento u otro, echan mano de la ciencia, ya sea en forma de estudios científicos o en palabras de algún académico o investigador. Y es que no hay nada como una pátina de ciencia para defender la solidez de nuestros argumentos:

La ciencia goza de una alta valoración. Aparentemente existe la creencia generalizada de que hay algo especial en la ciencia y en los métodos que utiliza. Cuando a alguna afirmación, razonamiento o investigación se le da el calificativo de «científico», se pretende dar a entender que tiene algún tipo de mérito o una clase especialidad de fiabilidad.
[...] Los anuncios publicitarios afirman con frecuencia que se ha mostrado científicamente que determinado producto es más blanco, más potente, más atractivo sexualmente o de alguna manera preferible a los productos rivales. Con esto esperan dar a entender que su afirmación está especialmente fundamentada e incluso puede que más allá de toda discusión.

Foto de Sergei Golyshev

Según la concepción popular, la ciencia se basa en hechos, afirmaciones sobre el mundo que pueden comprobarse directamente, verdades objetivas que todos hemos de aceptar. Además de eso, lo que hace especial a la ciencia es su método, el «método científico». Lo recordarán del colegio. A grandes rasgos, se empieza con una pregunta («¿por qué el cielo es azul?»), se formula una hipótesis, se desarrollan las consecuencias lógicas de la misma, se lleva a cabo un experimento para ponerla a prueba y se analizan los resultados. Si las pruebas obtenidas en el experimento contradicen la hipótesis es necesario desecharla y desarrollar una nueva. Si la confirman, se comprueban otras predicciones de dicha hipótesis. Una vez la hipótesis cuenta con suficientes pruebas a favor pasa a desarrollarse una teoría.

La calidad de la ciencia reside en los detalles, allí donde, según el dicho, habita el diablo. En cada paso del método científico se puede cometer un traspié y el libro de David H. Freedman titulado Wrong: Why Experts Keep Failing Us - and How to Know When Not to Trust Them contiene una buena lista de todo lo que puede salir mal. Para empezar, pueden cometerse errores en algo tan sencillo como recopilar los datos (al tomar la presión arterial de los sujetos de estudio o al medir la temperatura del océano o al calcular la contaminación del aire). A veces dichos errores nos obligan a tener que descartar observaciones, lo que introduce el problema de qué datos se descartan con razón y cuáles se desechan por un sesgo inconsciente. Terminada la toma de datos, a la hora de analizar los resultados los errores estadísticos son frecuentes.

No es fácil diseñar experimentos para probar ciertas hipótesis, por lo que los científicos a veces sustituyen una pregunta por otra más fácil de responder y acaban midiendo cosas que no importan. Por ejemplo, ante la pregunta «¿este medicamento cura el cáncer?» un estudio puede estar diseñado para determinar si dicho medicamento reduce el tamaño del tumor, ya que medir eso es mucho más sencillo que observar a una población durante años para determinar si los que tomaron el medicamento vivieron más. Por desgracia, el tamaño del tumor puede que no esté relacionado con la mortalidad del cáncer. Este uso de indicadores secundarios es bastante habitual y tiene su máxima expresión en los experimentos con animales. Siempre que se trate de un estudio con otra especie hay que esperar a los resultados con humanos ya que, por mucho que se nos parezcan, nada nos asegura que el resultado sea extrapolable.

Otro error bastante común es que los datos soporten la hipótesis pero que dicha hipótesis sea falsa en realidad y el efecto observado se deba a un tercer factor no contemplado. Por ejemplo, un estudio puede concluir que la gente que duerme menos de seis horas diarias tiene mayor probabilidad de ser obesa. Sin embargo, quizá la razón de que haya correlación entre ambas variables sea que la gente sana se preocupa tanto de hacer ejercicio como de comer y de dormir bien. Si esa fuera la explicación, no es de esperar que uno vaya a adelgazar a base de dormir más cada noche. Todos los tipos de estudio (observacional, epidemiológico, meta-análsis, doble ciego) están afectados por este problema en mayor o menor medida.

Algunos fallos no son tan inocentes y están relacionados con los incentivos a los que se enfrentan los investigadores. Como explica Gerry Carter en su artículo, los objetivos de la ciencia como tal y de quienes la practican no son los mismos. El éxito científico no equivale a éxito académico. Hacer ciencia de calidad (falsificable, repetible y correcta) no lleva automáticamente a ser influyente, reconocido y ascendido. A los científicos se les premia laboralmente por obtener resultados novedosos, revolucionarios y sorprendentes. Estos requisitos, unidos a la enorme competencia, reducen la calidad de la ciencia practicada. Al final, lo que es importante para un científico no es tanto la verdad como el demostrar que algo es cierto, pues eso es lo que necesita para conseguir una plaza en una universidad o dinero para investigación:

Most of us don’t think of scientists and other academic researchers as cheaters. I certainly don’t. What could motivate such surprisingly nontrivial apparent levels of dishonesty? The answer turns out to be pretty simple: researchers need to publish impressive findings to keep their careers alive, and some seem unable to come up with those findings via honest work. Bear in mind that researchers who don’t publish well-regarded work typically don’t get tenure and are forced out of their institutions. It’s an oppressive system and one that’s becoming more so.

Ante las presiones por obtener un resultado positivo, si un estudio no confirma una hipótesis es muy probable que acabe sin ver la luz del día, dado que no contribuye al avance de la carrera del científico. Esto perjudica a la ciencia porque el desarrollo de una teoría depende del conjunto de todos los datos, no solo de los favorables. Por otra parte, abundan quienes torturan los números hasta que les dicen lo que quieren, esto es, hasta que encuentran algo que apoye lo que querían demostrar. En otras ocasiones, un científico puede diseñar un experimento para poner a prueba su hipótesis («¿son más inteligentes las personas guapas?»), encontrarse con otro efecto diferente («no son más inteligentes pero sí más adineradas») y publicar el estudio como si su propósito inicial fuera probar esta última hipótesis (es lo que se conoce como mover los palos de la portería). A veces es una empresa privada la que financia la investigación, como cuando un fabricante de cerveza promueve un estudio que concluye que la cerveza no engorda. Proliferan las pruebas que indican que esta clase de experimentos motivados siempre encuentran lo que estaban buscando.

Por último, no hay que olvidar el fraude puro y llano. En ocasiones se crean datos de la nada o se ocultan algunos de ellos. Asimismo se publican estudios falsos o que nunca tuvieron lugar. Incluso ha habido casos de corrupción en el sistema de revisión por pares. Quienes detectan conductas reprobables no tienen incentivos para denunciarlo debido a que podrían perder su puesto de trabajo o su financiación. Además, uno debe llevarse bien con sus colegas si quiere ver su trabajo publicado.

La ciencia no es un proceso llevado a cabo en el vacío. Es obra de personas de carne y hueso sometidas a los mismos sesgos y limitaciones que el resto de nosotros. A los errores normales de un ser humano hay que sumarle el hecho de que los investigadores están sometidos a mucha competencia lo que, como ocurre en otras profesiones, puede derivar en malas conductas con tal de destacar o, simplemente, mantenerse a flote.

La gente digiere estos hechos de distinta manera. Algunos reniegan totalmente de la ciencia y suscriben (normalmente sin conocerlas) las tesis del filósofo Paul Feyerabend, quien sostenía que la ciencia no posee rasgos especiales que la hagan superior a otras ramas del conocimiento. Él veía la ciencia como la religión moderna y pensaba que desempeña la misma función que ha desempeñado el cristianismo en Europa durante los siglos pasados. Para estas personas, escépticos radicales y posmodernistas, todo es dogma y cada uno abraza el que le parece. Otros buscan en las seudociencias respuestas que la ciencia no tiene (o que sí tiene, pero no concuerdan con su visión del mundo). Finalmente, están quienes reconocen que la ciencia es una tarea ardua y, por ello, siempre tienen presente que no todos los estudios y artículos científicos valen lo mismo, que no todos los científicos son iguales, que la cantidad y calidad de pruebas a favor o en contra de una hipótesis es importante, que parte del conocimiento tiene fecha de caducidad y que la ciencia, en general, es un proceso paulatino de reducción de la incertidumbre y el desconocimiento.