Mala ciencia

Consultores, entrenadores, economistas, gurús de las relaciones personales o de la vida en general, consejeros de celebridades, asesores financieros, directores generales, comentaristas deportivos, tertulianos... como ya hablamos, abundan los expertos. Pueblan el espectro electromagnético y nos hacen llegar sus consejos (normalmente equivocados) a través de la televisión, la radio o internet. A la hora de defender sus argumentos suelen apelar a su experiencia personal, al éxito de su carrera o a un puñado de historias de gente que siguió sus consejos y logró un final feliz. Si se les interroga sobre sus fuentes de conocimiento, la respuesta varía según el asunto tratado. Un experto en felicidad puede recurrir a antiguos textos budistas. Un experto en finanzas puede invocar el nombre de grandes autoridades en la materia (algún premio Nobel, por ejemplo). Pero la mayor parte de ellos, en algún momento u otro, echan mano de la ciencia, ya sea en forma de estudios científicos o en palabras de algún académico o investigador. Y es que no hay nada como una pátina de ciencia para defender la solidez de nuestros argumentos:

La ciencia goza de una alta valoración. Aparentemente existe la creencia generalizada de que hay algo especial en la ciencia y en los métodos que utiliza. Cuando a alguna afirmación, razonamiento o investigación se le da el calificativo de «científico», se pretende dar a entender que tiene algún tipo de mérito o una clase especialidad de fiabilidad.
[...] Los anuncios publicitarios afirman con frecuencia que se ha mostrado científicamente que determinado producto es más blanco, más potente, más atractivo sexualmente o de alguna manera preferible a los productos rivales. Con esto esperan dar a entender que su afirmación está especialmente fundamentada e incluso puede que más allá de toda discusión.

Foto de Sergei Golyshev

Según la concepción popular, la ciencia se basa en hechos, afirmaciones sobre el mundo que pueden comprobarse directamente, verdades objetivas que todos hemos de aceptar. Además de eso, lo que hace especial a la ciencia es su método, el «método científico». Lo recordarán del colegio. A grandes rasgos, se empieza con una pregunta («¿por qué el cielo es azul?»), se formula una hipótesis, se desarrollan las consecuencias lógicas de la misma, se lleva a cabo un experimento para ponerla a prueba y se analizan los resultados. Si las pruebas obtenidas en el experimento contradicen la hipótesis es necesario desecharla y desarrollar una nueva. Si la confirman, se comprueban otras predicciones de dicha hipótesis. Una vez la hipótesis cuenta con suficientes pruebas a favor pasa a desarrollarse una teoría.

La calidad de la ciencia reside en los detalles, allí donde, según el dicho, habita el diablo. En cada paso del método científico se puede cometer un traspié y el libro de David H. Freedman titulado Wrong: Why Experts Keep Failing Us - and How to Know When Not to Trust Them contiene una buena lista de todo lo que puede salir mal. Para empezar, pueden cometerse errores en algo tan sencillo como recopilar los datos (al tomar la presión arterial de los sujetos de estudio o al medir la temperatura del océano o al calcular la contaminación del aire). A veces dichos errores nos obligan a tener que descartar observaciones, lo que introduce el problema de qué datos se descartan con razón y cuáles se desechan por un sesgo inconsciente. Terminada la toma de datos, a la hora de analizar los resultados los errores estadísticos son frecuentes.

No es fácil diseñar experimentos para probar ciertas hipótesis, por lo que los científicos a veces sustituyen una pregunta por otra más fácil de responder y acaban midiendo cosas que no importan. Por ejemplo, ante la pregunta «¿este medicamento cura el cáncer?» un estudio puede estar diseñado para determinar si dicho medicamento reduce el tamaño del tumor, ya que medir eso es mucho más sencillo que observar a una población durante años para determinar si los que tomaron el medicamento vivieron más. Por desgracia, el tamaño del tumor puede que no esté relacionado con la mortalidad del cáncer. Este uso de indicadores secundarios es bastante habitual y tiene su máxima expresión en los experimentos con animales. Siempre que se trate de un estudio con otra especie hay que esperar a los resultados con humanos ya que, por mucho que se nos parezcan, nada nos asegura que el resultado sea extrapolable.

Otro error bastante común es que los datos soporten la hipótesis pero que dicha hipótesis sea falsa en realidad y el efecto observado se deba a un tercer factor no contemplado. Por ejemplo, un estudio puede concluir que la gente que duerme menos de seis horas diarias tiene mayor probabilidad de ser obesa. Sin embargo, quizá la razón de que haya correlación entre ambas variables sea que la gente sana se preocupa tanto de hacer ejercicio como de comer y de dormir bien. Si esa fuera la explicación, no es de esperar que uno vaya a adelgazar a base de dormir más cada noche. Todos los tipos de estudio (observacional, epidemiológico, meta-análsis, doble ciego) están afectados por este problema en mayor o menor medida.

Algunos fallos no son tan inocentes y están relacionados con los incentivos a los que se enfrentan los investigadores. Como explica Gerry Carter en su artículo, los objetivos de la ciencia como tal y de quienes la practican no son los mismos. El éxito científico no equivale a éxito académico. Hacer ciencia de calidad (falsificable, repetible y correcta) no lleva automáticamente a ser influyente, reconocido y ascendido. A los científicos se les premia laboralmente por obtener resultados novedosos, revolucionarios y sorprendentes. Estos requisitos, unidos a la enorme competencia, reducen la calidad de la ciencia practicada. Al final, lo que es importante para un científico no es tanto la verdad como el demostrar que algo es cierto, pues eso es lo que necesita para conseguir una plaza en una universidad o dinero para investigación:

Most of us don’t think of scientists and other academic researchers as cheaters. I certainly don’t. What could motivate such surprisingly nontrivial apparent levels of dishonesty? The answer turns out to be pretty simple: researchers need to publish impressive findings to keep their careers alive, and some seem unable to come up with those findings via honest work. Bear in mind that researchers who don’t publish well-regarded work typically don’t get tenure and are forced out of their institutions. It’s an oppressive system and one that’s becoming more so.

Ante las presiones por obtener un resultado positivo, si un estudio no confirma una hipótesis es muy probable que acabe sin ver la luz del día, dado que no contribuye al avance de la carrera del científico. Esto perjudica a la ciencia porque el desarrollo de una teoría depende del conjunto de todos los datos, no solo de los favorables. Por otra parte, abundan quienes torturan los números hasta que les dicen lo que quieren, esto es, hasta que encuentran algo que apoye lo que querían demostrar. En otras ocasiones, un científico puede diseñar un experimento para poner a prueba su hipótesis («¿son más inteligentes las personas guapas?»), encontrarse con otro efecto diferente («no son más inteligentes pero sí más adineradas») y publicar el estudio como si su propósito inicial fuera probar esta última hipótesis (es lo que se conoce como mover los palos de la portería). A veces es una empresa privada la que financia la investigación, como cuando un fabricante de cerveza promueve un estudio que concluye que la cerveza no engorda. Proliferan las pruebas que indican que esta clase de experimentos motivados siempre encuentran lo que estaban buscando.

Por último, no hay que olvidar el fraude puro y llano. En ocasiones se crean datos de la nada o se ocultan algunos de ellos. Asimismo se publican estudios falsos o que nunca tuvieron lugar. Incluso ha habido casos de corrupción en el sistema de revisión por pares. Quienes detectan conductas reprobables no tienen incentivos para denunciarlo debido a que podrían perder su puesto de trabajo o su financiación. Además, uno debe llevarse bien con sus colegas si quiere ver su trabajo publicado.

La ciencia no es un proceso llevado a cabo en el vacío. Es obra de personas de carne y hueso sometidas a los mismos sesgos y limitaciones que el resto de nosotros. A los errores normales de un ser humano hay que sumarle el hecho de que los investigadores están sometidos a mucha competencia lo que, como ocurre en otras profesiones, puede derivar en malas conductas con tal de destacar o, simplemente, mantenerse a flote.

La gente digiere estos hechos de distinta manera. Algunos reniegan totalmente de la ciencia y suscriben (normalmente sin conocerlas) las tesis del filósofo Paul Feyerabend, quien sostenía que la ciencia no posee rasgos especiales que la hagan superior a otras ramas del conocimiento. Él veía la ciencia como la religión moderna y pensaba que desempeña la misma función que ha desempeñado el cristianismo en Europa durante los siglos pasados. Para estas personas, escépticos radicales y posmodernistas, todo es dogma y cada uno abraza el que le parece. Otros buscan en las seudociencias respuestas que la ciencia no tiene (o que sí tiene, pero no concuerdan con su visión del mundo). Finalmente, están quienes reconocen que la ciencia es una tarea ardua y, por ello, siempre tienen presente que no todos los estudios y artículos científicos valen lo mismo, que no todos los científicos son iguales, que la cantidad y calidad de pruebas a favor o en contra de una hipótesis es importante, que parte del conocimiento tiene fecha de caducidad y que la ciencia, en general, es un proceso paulatino de reducción de la incertidumbre y el desconocimiento.

En teoría (y II)

En teoría, la práctica y la teoría son iguales. En la práctica, no.

En 1995 la FIFA ordenó a todas sus ligas constituyentes que establecieran la regla de otorgar tres puntos por victoria en lugar de dos. La idea de Sepp Blatter, secretario general de la organización por aquel entonces, era premiar el fútbol de ataque con una recompensa un 50% mayor. El resultado, relatan Chris Anderson y David Sally, fue bien distinto:

«Two German economists, Alexander Dilger and Hannah Geyer, came up with a way to test what changed when their nation’s football leagues switched to three points for a win. They looked at 6,000 league games and 1,300 from cup competitions over the ten years before the rule change and the ten after. The cup games provided the control group, unaffected by the switch (since the reward in tournament football is progression, not points).
Dilger and Geyer did find that the three-point rule had a dramatic effect on one aspect of a football match, but it wasn’t goals. In league games three points for a win led to a drastic increase in the number of yellow cards. Attacking football had increased, but the ‘attack’ consisted not of strikes on goal, but rather of clips of the opponents’ heels, pushes in their backs, and late tackles. There was also a clear decline in the number of draws – understandable, since losing two points for parity is less palatable than only losing one – and a rise in the number of victories by a one-goal margin.
With three points available for victory, a manager’s substitutes were focused on defence, back lines refused to move forward, and the number of long clearances rose. Goals had not become more abundant, but they had become even more decisive and valuable. Three points for a win had not rewarded attacking football. It had rewarded cynical football.»

No es de extrañar que a la FIFA le saliera el tiro por la culata. En un sistema complejo fruto de la interacción de tantos individuos las cadenas de causalidad distan de ser obvias o bien comprendidas, el comportamiento de sus elementos es difícil o imposible de predecir, desconocemos cuáles son las variables correctas y las relaciones que se establecen entre ellas, y carecemos de ideas claras y distintas que se asemejen a los axiomas de Euclides. El resultado es que no poseemos un conocimiento a priori acerca de cómo influir en el sistema de la manera que queremos porque nos es imposible anticipar todas las consecuencias de nuestras decisiones.

No obstante, siendo como somos ilusos, seguimos creyendo que podemos saber qué tipo de cosas deben provocar ciertos efectos y qué tipos de cosas no. Sirva como ejemplo la imagen que ilustra este artículo. Se trata de un panfleto de la National Association Opposed to Woman Suffrage, una organización neoyorquina de principios del siglo XX que, como su propio nombre indica, se oponía a que las mujeres pudieran votar (clic en la imagen para ampliar).

Otro botón de muestra relacionado con el sufragio universal: los liberales del siglo XIX alegaron razones económicas para tratar de evitar que los pobres pudieran votar. Tal como cuenta Ha-Joon Chang :

«The nineteenth-century liberals believed that abstinence was the key to wealth accumulation and thus economic development. Having acquired the fruits of their labour, people need to abstain from instant gratification and invest it, if they were to accumulate wealth. In this world view, the poor were poor because they did not have the character to exercise such abstinence. Therefore, if you gave the poor voting rights, they would want to maximize their current consumption, rather than investment, by imposing taxes on the rich and spending them. This might make the poor better off in the short run, but it would make them worse off in the long run by reducing investment and thus growth.
[...] Between the late nineteenth and early twentieth centuries, the worst fears of liberals were realized, and most countries in Europe and the so-called ‘Western offshoots’ (the US, Canada, Australia and New Zealand) extended suffrage to the poor (naturally only to the males). However, the dreaded over-taxation of the rich and the resulting destruction of capitalism did not happen. In the decades that followed the introduction of universal male suffrage, taxation on the rich and social spending did not increase by much. So, the poor were not that impatient after all.»

También en el siglo XIX Louis Agassiz, naturalista suizo creyente y defensor de la poligenia (una teoría del racismo científico que sostenía que las razas provienen de orígenes distintos y están dotadas de atributos desiguales) se expresaba en estos términos al ser consultado sobre el papel de los negros en una nación estadounidense reunificada (citado en Gould, 2003):

«Considero que la igualdad social nunca puede practicarse. Se trata de una imposibilidad natural que deriva del propio carácter de la raza negra» (10 de agosto de 1863); como los negros son «indolentes, traviesos, sensuales, imitativos, sumisos, afables, veleidosos, inconstantes, devotos, cariñosos, en un grado que no se observa en ninguna otra raza, sólo cabe compararlos con los niños, pues, aunque su estatura sea la del adulto, conservan una mente infantil... Por tanto, sostengo que son incapaces de vivir en pie de igual social con los blancos, en el seno de una única e idéntica comunidad, sin convertirse en un elemento de desorden social» (10 de agosto de 1863). Los negros deben estar controlados y sujetos a ciertas limitaciones, porque la decisión imprudente de otorgarles determinados privilegios sociales engendraría ulteriores discordias: «Nadie tiene derecho a algo que es incapaz de usar... Si cometemos la imprudencia de conceder de entrada demasiado a la raza negra, luego tendremos que retirarle violentamente algunos de los privilegios que puede utilizar tanto en detrimento de nosotros como en perjuicio de ella misma (10 de agosto de 1863).

Los casos mencionados ilustran cómo puede disfrazarse una ideología con argumentos a priori que –en el espíritu de la época– pueden incluso sonar razonables. Como bien decía Stephen Jay Gould, a menudo se promueve una «determinada política social aparentando que se trata de una investigación desapasionada de ciertos hechos científicos». Hoy día lo más habitual es, creo yo, usar argumentos económicos. Políticos, economistas y otros seres de dudosa respetabilidad son propensos a alumbrar cadenas de razonamiento que generan miedo, incertidumbre y duda cuando se trata de defender sus intereses basándose en una disciplina cuyos logros están a años luz de cualquier ciencia. Hay que rescatar a los bancos o la civilización occidental se hundirá. Hay que seguir pagando sueldos estratosféricos a los banqueros o su talento (supuestamente imprescindible) se irá a otro lado. Hay que bajar los impuestos a los ricos o dejarán de trabajar, invertir y crear empresas. Hay que bajar los sueldos y despojar de toda protección al trabajador o el paro será siempre alto. Hay que eliminar la regulación y liberalizar todo lo posible porque eso es bálsamo de Fierabrás para la economía y los consumidores. Etcétera, etcétera. Es importante tener en cuenta la falibilidad del proceso deductivo especialmente cuando se trata de cambio social o del statu quo, so pena de que nos hagan comulgar con ruedas de molino.

El último argumento del panfleto contra el sufragio femenino reza: «it is unwise to risk the good we already have for the evil which may occur». El problema es que es muy fácil retratar algo sobre el papel de tal manera que suene como el mayor de los males. Si yo les propusiera una actividad que produce taquicardia, sudoración, elevación de la presión arterial, aumento del ritmo respiratorio y vasocongestión es probable que no se sientan impelidos a participar en ella. Sin embargo, todos los síntomas descritos se producen durante el sexo, algo a lo que probablemente no quieran (¡y quizá ni deban!) renunciar. La cuestión no es si un curso de acción puede tener efectos nocivos; todos los medicamentos tienen efectos secundarios. La cuestión es si los beneficios superan con creces a los anteriores, un punto expresado por Nassim Taleb:

«In real life, as we saw with the ideas of Seneca and the bets of Thales, exposure is more important than knowledge; decision effects supersede logic. Textbook “knowledge” misses a dimension, the hidden asymmetry of benefits—just like the notion of average. The need to focus on the payoff from your actions instead of studying the structure of the world (or understanding the “True” and the “False”) has been largely missed in intellectual history. Horribly missed. The payoff, what happens to you (the benefits or harm from it), is always the most important thing, not the event itself.»

La única forma de averiguar si los pros son mayores que los contras es mediante experimentos. Ese es el fundamento de la medicina basada en pruebas y del movimiento a favor de políticas públicas basadas en pruebas. Como humanos cargamos con muchos sesgos cognitivos que interfieren en nuestra toma de decisiones, nuestras intuiciones a menudo están equivocadas y nos cuesta reconocer nuestros fallos. Necesitamos pruebas empíricas para averiguar qué razonamiento es el correcto. Necesitamos acudir a la experiencia.

Ilusos

Hoy les traigo un pequeño juego que no les tomará más de un minuto. De 1 a 7, donde 1 significa «no tengo ni idea» y 7 significa «tengo un conocimiento exhaustivo», valoren el conocimiento que tienen sobre cómo funciona una bicicleta. Tengan presente que no es necesario ser un mecánico experto para otorgarse un 7 (ese caso sería un 7++) y que lo que han de valorar es cuánto saben ustedes, no cuánto creen que saben comparados con otros. ¿Lo tienen? Ahora fíjense en el siguiente esquema:

Tomen una hoja de papel y traten de completar las partes que faltan: cuadro, pedales y cadena. Cuando hayan terminado pueden comparar el resultado con la imagen de una bicicleta real.

¿Qué tal les ha ido? Mi hermana ha dibujado una cadena que unía las dos ruedas y ha situado los pedales en la rueda delantera. Además ha pasado por alto las partes que faltan del cuadro. A mí me ha faltado dibujar la vaina inferior de la parte trasera del mismo, aunque he colocado correctamente cadena, pedales y el resto de la estructura. Después de haber pasado buena parte de mi adolescencia sobre un sillín pensaba que mi conocimiento era al menos un cinco, y aún así me he olvidado de una parte fundamental.

Esta tarea forma parte de un experimento ideado por la psicóloga británica Rebecca Lawson. En promedio, las personas que participaron en este estudio calificaron su nivel de conocimiento pre-test en 4,6. Aún así, más del 40% de ellos cometieron al menos un error.

Los psicólogos Christopher Chabris y Daniels Simons mencionan este estudio en su libro El gorila invisible para ilustrar lo que llaman «ilusión de conocimiento» (énfasis en el original):

«Sobre la base de nuestra amplia experiencia y familiaridad con las máquinas y herramientas comunes, solemos creer que tenemos una profunda comprensión de cómo funcionan. Invitamos al lector a que piense en cada uno de los siguientes objetos y que luego juzgue el conocimiento que tiene de ellos con la misma escala (de 1 a 7): un indicador de velocidad de un automóvil, una cremallera, la tecla de un piano, un inodoro, una cerradura cilíndrica, un helicóptero y una máquina de coser. Ahora, pruebe a hacer otra tarea: escoja el objeto al que le dio la mayor puntuación, el que cree que entiende mejor, y trate de explicar cómo funciona. Dé el tipo de explicación que le daría a un niño persistentemente inquisitivo –trate de generar una descripción detallada paso a paso de cómo y por qué funciona–. Es decir, intente dar cuenta de las conexiones causales entre cada paso.

[...] Antes de intentar realizar esta tarea, intuitivamente quizá pensaba que entendía cómo funcionaba un inodoro, pero lo que realmente entendía era cómo hacerlo funcionar –y es probable que supiera cómo desatascarlo–. Quizás entienda cómo interactúan sus diversas partes visibles y cómo se mueven en conjunto. Y, si ha estado mirando dentro de uno y jugando un poco con el mecanismo, su impresión de conocerlo es ilusoria: confunde saber lo que ocurre con por qué sucede, y confunde su sentimiento de familiaridad con un conocimiento genuino.»

Chabris y Simons describen también el trabajo de Leon Rozenblit, quien llevó a cabo una serie de experimentos en los que preguntaba a alguien si sabía, verbigracia, por qué el cielo es azul, y después se comportaba como un niño pequeño, preguntando una y otra vez «¿por qué?» hasta que el sujeto se rendía (ibídem):

«El resultado inesperado de este experimento informal fue que las personas se daban por vencidas realmente muy rápido –respondían una o dos preguntas antes de llegar a un fallo en su conocimiento–. Más sorprendentes todavían eran sus reacciones cuando descubrían que de hecho no sabían algo.

Rozenblit estudió esta ilusión de conocimiento con más de una docena de experimentos durante los años siguientes, en los que hizo pruebas a personas de todas las profesiones y condiciones sociales [...], y los resultados fueron notablemente consistentes. No importa a quién se interrogue, siempre se llega a un punto en el que ya no se puede responder a algún porqué. Para la mayoría de nosotros, nuestro nivel de comprensión es tan superficial que podemos agotarlo después de la primera pregunta. Sabemos que hay una respuesta, y sentimos que la sabemos, pero parecemos no darnos cuenta de los errores de nuestro propio conocimiento.»

Dicen los autores antes mencionados que todos caemos presas de esta ilusión porque simplemente no reconocemos la necesidad de cuestionar nuestro propio conocimiento. Lo cierto es que son pocas las ocasiones en que nos molestamos en ponerlo a prueba. En mi caso, por ejemplo, y dada la naturaleza de mi trabajo, una de dichas escasas situaciones son las entrevistas de empleo (lo que es, a su vez, uno de los peores momentos para darse cuenta de que no sabemos la respuesta). También tengo una compañera que es como una niña pequeña y no para de preguntarme por qué sé lo que sé. Fuera del trabajo lo más parecido a una búsqueda del porqué es la búsqueda de referencias para los artículos de este blog. Al margen de esos casos concretos yo tampoco tengo por costumbre aplicar la duda cartesiana sobre todo lo que sé.

Al igual que no solemos examinar la profundidad de nuestra competencia tampoco es habitual que dudemos de la exactitud, actualidad o veracidad de nuestro saber teórico (lo cual es un tanto paradójico, ya que los errores pueden costarnos la salud o nuestro dinero). Considere la siguiente pregunta: ¿qué tiene más cafeína, el té o el café? Independientemente de la respuesta que haya dado ¿cómo lo sabe? ¿Recuerda la fuente donde lo leyó, o la persona que se lo dijo? Si se lo dijo alguien que no era una autoridad en la materia ¿comprobó si era cierto? Eso es algo que a menudo no hacemos cuando hablamos con alguien de un tema que desconocemos: simplemente damos por bueno el conocimiento del otro, aún cuando no sea un experto y no sepamos si lo ha obtenido de una fuente fiable. Esa es, supongo, una de las razones por las que perduran las leyendas urbanas, los mitos, las ideas falsas y los conceptos erróneos. Debido a ello albergamos y diseminamos multitud de creencias erróneas sobre los más diversos temas –algunas más absurdas que otras–, como esa sandez de que solo utilizamos un diez por ciento del cerebro.

La respuesta a la pregunta de la cafeína, por cierto, tiene un poco de truco. Tal como explica Anahad O'Connor, depende de si estamos considerando una cantidad determinada de materia prima o una taza de infusión:

«En comparación, el té tiene más cafeína que el café. Pero mientras que con cien gramos de hojas de té se obtienen cientos de tazas, con la misma cantidad de café se obtienen muchas menos tazas de café, lo cual hace de éste un estimulante muchísimo más potente.
Según la mezcla de hojas de té, su tipo y el tiempo de la infusión, una taza de té de 200 mililitros puede contener de 20 a 90 miligramos de cafeína, mientras que una taza de café del mismo tamaño, de 60 a 180.»

Esta semana he podido asistir a una masiva demostración de la ilusión de conocimiento gracias al bug bautizado como Heartbleed. A pesar de trabajar en el sector y formar parte de la industria que se dedica a desplegar medidas para mitigar este tipo de errores, muy pocos compañeros podían explicar en qué consistía exactamente y por qué era tan serio; incluso mi jefe tuvo que pedir ayuda para poder responder a las preguntas de los periodistas. A menudo es necesario un periodista, un niño pequeño, una entrevista de trabajo, un examen o una partida de Triviados para darnos cuenta de lo poco que sabemos en realidad.