¿Experto o cuñado? (III)

Alejémonos un poco del concepto filosófico y centrémonos en la definición mundana del saber. Aquí encontramos, por un lado, el conocimiento de tipo Trivial Pursuit que sirve para responder  a preguntas tales como «¿cuántos jueces hay en el Tribunal Supremo?», «¿cuál es el número de Avogadro?», «¿qué países forman parte de la OTAN?» o «¿cuáles son los gases nobles?». Por otro, tenemos el conocimiento que utilizamos en cuestiones del tipo «justifica tu respuesta». El primero es fácil de evaluar. El segundo, que es el que nos interesa, no tanto.

Foto de Jlhopgood

¿Cómo podemos valorar si una persona es realmente experta en una materia? ¿Cómo asegurarnos de que no estamos confundiendo otras cualidades (seguridad en uno mismo, dominio de la jerga) con conocimiento verdadero? ¿Cómo podemos comprobar que no es el homúnculo de la habitación china de la que hablamos al principio?

Philip Tetlock, cuyo trabajo hemos mencionado en varias ocasiones, utilizó como vara de medir la capacidad de hacer predicciones acertadas. Como él mismo reconoce, es una elección discutible porque es posible conocer un fenómeno pero errar la predicción:

Explanation is possible without prediction. A conceptually trivial but practically consequential source of forecasting failure occurs whenever we possess a sound theory but do not know whether the antecedent conditions for applying the theory have been satisfied: high school physics tells me why the radiator will freeze if the temperature falls below 32°F but not how cold it will be tonight. Or, consider cases in which we possess both sound knowledge and good knowledge of antecedents but are stymied because outcomes may be subject to chaotic oscillations. Geophysicists understand how principles of plate tectonics produce earthquakes and can monitor seismological antecedents but still cannot predict earthquakes.

Asimismo, es posible hacer predicciones correctas aun cuando no sepamos explicar el fenómeno (ibídem):

Conversely, prediction is possible without explanation. Ancient astronomers had bizarre ideas about what stars were, but that did not stop them from identifying celestial regularities that navigators used to guide ships for centuries. And contemporary astronomers can predict the rhythms of solar storms but have only a crude understanding of what causes these potentially earth-sizzling eruptions. 

Este último problema ya nos lo hemos encontrado y vimos que, para que la explicación se considere conocimiento, esta debe tener una conexión causal con el hecho. Esa es la razón por la que, como ilustra el propio Tetlock, ningún científico que se precie cambiaría su opinión acerca de la astrología aun cuando un astrólogo hiciera predicciones acertadas, pues ello socavaría un enorme corpus de conocimiento científico establecido. En una situación así lo más lógico sería buscar otros mecanimos subyacentes a esos aciertos.

Podemos ver de forma sencilla la relación entre predicciones y conocimiento considerando los pronósticos sobre el clima. Si la aplicación meteorológica de nuestro teléfono no acierta nunca con la lluvia o con la temperatura de los días venideros diríamos que quienes hacen los pronósticos no tienen ni idea. Afortunadamente, aunque el clima es uno de los mejores ejemplos de oscilaciones caóticas que influyen en el resultado es posible hacer predicciones bastante certeras para cortos periodos de tiempo.

La reputación de los meteorólogos probablemente sea peor de lo que merecen, algo que no diría de los economistas cuyas predicciones yerran con tanta frecuencia que, en mi opinión, hay un sentimiento generalizado de falta de competencia que está justificado. De hecho, hay economistas que comparten esa sensación:

[E]conomics is faulted for its failure to predict. God created economic forecasters to make astrologers look good, quipped John Kenneth Galbraith (himself an economist). Exhibit A in recent times has been the global financial crisis, which unfolded at a time when the vast majority of economists had been lulled into thinking macroeconomic and financial stability had arrived for good. I explained in the previous chapter that this misperception was another by-product of the usual blind spot: mistaking a model for the model.

¿Por qué ligamos conocimiento y pronósticos acertados? Quizá sea un efecto secundario del método científico. Una buena teoría científica no solo explica los fenómenos observados hasta la fecha sino que además permite hacer predicciones claras, precisas y (a menudo) sorprendentes que pueden comprobarse. Simplificando mucho, si las predicciones resultan ser ciertas la teoría es verificada y, si no lo son, la teoría es refutada. Por ejemplo, según la teoría de la relatividad general de Einstein el Sol curva la luz en una magnitud concreta:

Otra verificación astronómica famosa de la relatividad general es la predicción de Einstein de que el Sol curva la luz. La gravitación newtoniana también predice esto, pero la relatividad general predice una cantidad de curvamiento que es dos veces mayor. El eclipse solar total de 1919 proporcionó una oportunidad para distinguir los dos, y Sir Arthur Eddington organizó una expedición, finalmente anunciando que Einstein se imponía. Esto fue aceptado con entusiasmo en la época, pero más tarde se hizo claro que los datos eran pobres y el resultado fue cuestionado. Observaciones independientes adicionales de 1922 parecían estar de acuerdo con la predicción relativista, como lo estuvo un reanálisis posterior de los datos de Eddington. En la década de los sesenta del siglo XX, se hizo posible hacer las observaciones para radiaciones de radiofrecuencia y, solo entonces, fue seguro que los datos sí que mostraban una desviación dos veces mayor que la predicha por Newton e igual a la que predijo Einstein.

Otro buen ejemplo de teoría verificada por sus predicciones es la tabla de elementos de Mendeleiev:

En 1871, Mendeleiev predijo la existencia de tres elementos desconocidos en su tiempo, llegando a señalar sus propiedades más destacadas (incluyendo el peso atómico aproximado). Estas predicciones se vieron confirmadas pronto: en 1875, el francés Paul Émile Lecoq de Boisbaudran (1838-1912) anunciaba el descubrimiento del galio (ekaboro para Mendeleiev); en 1879, el sueco Lars Fredrik Nilson (1840-1899) hacía lo propio con el escandio (ekaluminio), y en 1886, el alemán Clemens Alexander Winkler (1838-1904) descubría el germanio (ekasilicio).

Ejemplos de teorías refutadas por las observaciones serían el modelo geocéntrico de Ptolomeo y la teoría del flogisto. Aunque ambas teorías fueron válidas durante bastante tiempo finalmente acabaron siendo desplazadas por teorías mejores. Durante ese proceso, para acomodar las observaciones que no encajaban se hacían modificaciones ad hoc (añadiendo epiciclos y deferentes en el primer caso, asignando al flogisto un peso negativo en el segundo) que complicaban la teoría o introducían problemas nuevos.

Las explicaciones teológicas que se proponen como alternativa a teorías científicas se comportan igual que las malas teorías: cambian con cada nueva observación para acomodarse a ellas. Esto tiene la ventaja de que la teoría, efectivamente, se adapta a las pruebas lo que, según sus proponentes, prueba que son ciertas. El problema es que cualquier creencia, por rídicula que sea, puede hacerse encajar con las pruebas disponibles. Stephen Law pone el siguiente ejemplo:

Dave believes dogs are spies from the planet Venus. He views any canine with great suspicion, for he believes they are here from Venus to do reconnaissance work. Dogs, Dave supposes, secretly send their reports back to Venus, where the rest of their fiendishly cunning alien species are meticulously planning their invasion of the earth. Their spaceships will shortly arrive from Venus to enslave the human race and take over the world.

Unsurprisingly, Dave's friends think he has a screw loose and try to convince him that dogs are comparatively benign pets, not cunning alien spies. Here's a typical example of how their conversations with Dave go.

 DAVE: It's only a matter of weeks now! The spaceships will arrive and then you'll wish you'd listened to me. We must act now—let the government know!
MARY: Look, Dave, dogs are pretty obviously not space invaders, they're just dumb pets. Dogs can't even speak, for goodness sake, let alone communicate with Venus!
DAVE: They can speak—they just choose to hide their linguistic ability from us. They wait till we leave the room before they talk to each other.
PETE: But Venus is a dead planet, Dave. It's horrifically hot and swathed in clouds of acid. Nothing could live there, certainly not a dog!
DAVE: Dogs don't live on the surface of Venus, you fool—they live below, in deep underground bunkers.
MARY: But then how do earth-bound dogs communicate with their allies on Venus? I've got a dog, and I've never found an alien transmitter hidden in his basket.
DAVE: They don't use technology we can observe. Their transmitters are hidden inside their brains!
MARY: But Pete is a vet, and he's X-rayed several dog's heads, and he's never found anything in there!
PETE: In fact, I once chopped up a dog's brain in veterinary school—let me assure you, Dave, there was no transmitter in there!
DAVE: You're assuming their transmitters would be recognizable as such. They are actually made of organic material indistinguishable from brain stuff. That's why they don't show up on X-rays. This is advanced alien technology, remember—of course we cannot detect it!
MARY: But we don't detect any weird signals being directed at Venus from the earth.
DAVE: Of course, we don't—like I said, remember, this is advanced alien technology beyond our limited understanding!
PETE: How do dogs fly spaceships? They don't even have hands. So they can't hold things like steering wheels and joysticks.
DAVE: Really, Pete. Think about it. You are assuming that their spacecraft will be designed to be operated by human hands. Obviously they won't. They'll be designed to be maneuvered by a dog's limbs, mouth, tongue, and so on.

Como vemos, con cada pregunta Dave añade un «epiciclo» para ajustar su descabellada hipótesis con las observaciones. Muchos de estos ajustes son, además, imposibles de comprobar lo que hace imposible falsificar su teoría, una falta de rigor científico característica de este tipo de explicaciones.

Todos nosotros usamos parte del método científico cada día. ¿Nos gustará esto que probamos por primera vez? ¿Estará peor el tráfico esta mañana? ¿Debería aceptar este nuevo trabajo? Respondemos estas preguntas con predicciones basadas en nuestras propias teorías sobre cómo funciona el mundo o cómo somos nosotros. El método científico dicta que cuando nos equivocamos lo que deberíamos hacer es revisar nuestra teoría. Sin embargo, lo que solemos hacer es poner excusas, igual que hicieron los expertos entrevistados por Tetlock: «no ha pasado pero pasará», «lo que en realidad quise decir era esto otro», «no ha ocurrido por poco», etcétera. Hacer esto es síntoma de que nuestra teoría es errónea lo que significa, a su vez, que no sabíamos tanto como pensábamos.

Continuará.

Pesadilla en la cocina (II)

Política económica, autoayuda, pérdida de peso y gestión empresarial: todas estas áreas tienen algo en común, a saber, el vasto océano de libros dirigidos al gran público con ideas apuntando en todas direcciones (a menudo contrarias) cuyo objetivo es solucionar de una vez para siempre los problemas que nos interesan. Para cada cuestión existen cientos de textos ya publicados y decenas en camino alumbrados por autores con credenciales igualmente valiosas o cuestionables, lo que nos lleva a preguntarnos fútilmente: ¿quién tiene razón? ¿Cuál de esos libros es el mejor? ¿Cuál debería leer? ¿Cuál es el que aplica en mi caso? ¿Acaso sirven para algo?

Foto de Sean Perry

La industria editorial parece sancionar tres tipos principales de libros de consejos. El primero de ellos consiste en analizar exhaustivamente a aquellas personas, empresas o países que han logrado lo que nosotros pretendemos lograr, tratando de destilar los comportamientos y principios que los han llevado hasta allí. El segundo tipo describe una estrategia, tendencia, técnica, idea o filosofía acuñada por el propio autor que promete éxito a quienes la pongan en práctica, y muestra cómo los ganadores ya lo están haciendo. El tercer y último tipo es aquel que sostiene sus premisas apelando a la ciencia, ya sea la psicología, la endocrinología, las matemáticas o el método científico en general.

En lo que a gestión empresarial se refiere, dos ejemplos clásicos del primer tipo de libro mencionado son In Search of Excellence, de Thomas Peters y Robert Waterman, y Good to Great, de Jim Collins. Estos trabajos, como digo, identifican las prácticas comunes de negocios exitosos y nos exhortan a imitarlos para prosperar. Es una fórmula que intuitivamente tiene sentido para nuestros cerebros de primate: si quieres tener éxito haz lo mismo que aquellos que han tenido éxito.

Desgraciadamente, es bien sabido que este método tiene dos defectos principales relacionados. Uno es el sesgo del superviviente, esto es, centrarse en quienes sobrevivieron (o, en nuestro caso, tuvieron éxito) sin prestar atención a quienes murieron (énfasis en el original):

Jerker Denrell, a professor of strategy at Oxford, calls this the undersampling of failure. He argues that one of the main ways that companies learn is by observing the performance and characteristics of successful organizations. The problem is that firms with poor performance are unlikely to survive, so they are inconspicuously absent from the group that any one person observes. Say two companies pursue the same strategy, and one succeeds because of luck while the other fails. Since we draw our sample from the outcome, not the strategy, we observe the successful company and assume that the strategy was good. In other words, we assume that the favorable outcome was the result of a skillful strategy and overlook the influence of luck. We connect cause and effect where there is no connection. We don't observe the unsuccessful company because it no longer exists. If we had observed it, we would have seen the same strategy failing rather than succeeding and realized that copying the strategy blindly might not work.

Esto significa que para saber, verbigracia, si ofrecer comida gratis a los empleados hará que nuestra empresa triunfe no solo hemos de fijarnos en Google, Facebook, Twitter y otros grandes éxitos por el estilo, sino que tendremos que averiguar cuántas empresas optaron por dicha estrategia y fracasaron (lo cual, por el mismo hecho de que esas compañías ya no existen, hace la recogida de datos mucho más complicada). Esa es la pregunta que realmente importa: ¿cuántas de las firmas que adoptaron dicha medida acabaron teniendo éxito?

El segundo defecto de la imitación tiene que ver con la cadena causal. Yo podría, por ejemplo, escribir un libro titulado «Cómo enrojecer sus mejillas» en el que divagaría durante doscientas páginas para decir únicamente que basta con propinarse a uno mismo múltiples bofetadas bien sonoras. Aquí, acción y consecuencia son bastante evidentes y el «éxito» (en forma de mofletes colorados) está asegurado. Sin embargo, el logro empresarial depende de una miríada de factores con grandes dosis de aleatoriedad; hay tantas cosas interconectadas que a menudo es casi imposible determinar con seguridad un único factor como la causa real de un resultado. Por tanto, antes de imitar debemos estar seguros de no confundir talento con mera fortuna:

Here is an exercise that I do with my students to make the same basic point. The larger the class, the better it works. I ask everyone in the class to take out a coin and stand up. We all flip the coin; anyone who flips heads must sit down. Assuming we start with 100 students, roughly 50 will sit down after the first flip. Then we do it again, after which 25 or so are still standing. And so on. More often than not, there will be a student standing at the end who has flipped five or six tails in a row. At that point, I ask the student questions like “How did you do it?” and “What are the best training exercises for flipping so many tails in a row?” or “Is there a special diet that helped you pull off this impressive accomplishment?” These questions elicit laughter because the class has just watched the whole process unfold; they know that the student who flipped six tails in a row has no special coin-flipping talent. He or she just happened to be the one who ended up with a lot of tails. When we see an anomalous event like that out of context, however, we assume that something besides randomness must be responsible.

Como quiera que alcanzar nuestra meta depende de la suerte en una proporción que desconocemos, puede ocurrir que dé igual cómo de bien imitemos a los más grandes; si no tenemos suerte nunca llegaremos al mismo nivel.

Ejemplos del segundo tipo de libro de consejos en el mundo de la gestión son: The World Is Flat: A Brief History of the Twenty-first Century, de Thomas Friedman, que insiste en que los ganadores son aquellos que mejor se globalizan, Wikinomics: How Mass Collaboration Changes Everything, donde los autores defienden la relación entre éxito empresarial y sabiduría de las multitudes, y Toyota Kata: Managing People for Improvement, Adaptiveness, and Superior Results, en el que Mike Rother asegura que el éxito de Toyota es su filosofía de mejora continua imbuida en todos sus procesos.

Las pegas de este tipo de escritos son evidentes. Por un lado, aun suponiendo que la tesis del autor sea correcta y el factor identificado realmente relevante, el éxito es probablemente fruto de múltiples factores, no de uno solo aislado, por más peso que este pueda tener. Por otra parte, quizá el consejo en cuestión no sea aplicable a nuestro negocio, pues no afronta los mismos retos una tienda de barrio que una multinacional. Finalmente, de nuevo la suerte juega un papel de importancia desconocida.

En último lugar tenemos la dirección empresarial basada en principios o hechos científicos. Frederick Winslow Taylor escribió a principios del siglo XX una de las primeras obras de este tipo, The Principles of Scientific Management. Sus principios acabaron conociéndose como taylorismo, sinónimo de gestión científica. Actualmente, aquella filosofía ha derivado en una gestión a través de la observación y la medición sustentada en el auge del big data y el machine learning, siendo el mantra: «lo que no se puede medir no se puede gestionar». Esta es una elección de gobierno habitual en lo que a empresas de TI se refiere.

Desafortunadamente, como ya vimos largo y tendido en estas páginas, los números son subjetivos y nos llevan a engaño con demasiada frecuencia. Aún peor, a menudo los guarismos no pueden decirnos por sí mismos qué hemos de hacer. De la misma forma que la economía no puede guiar la política al margen de la ideología, las matemáticas y la ciencia de los sistemas complejos no pueden dar respuesta a problemas que no son cuestiones científicas:

[T]he modern idea of management is right enough to be dangerously wrong and it has led us seriously astray. It has sent us on a mistaken quest to seek scientific answers to unscientific questions. It offers pretended technological solutions to what are, at bottom, moral and political problems. It conjures an illusion—easily exploited—about the nature and value of management expertise. It induces us to devote formative years to training in subjects that do not exist. It favors a naïve view of the sources of mismanagement, making it harder to check abuses of corporate power. Above all, it contributes to a misunderstanding about the sources of our prosperity, leading us to neglect the social, moral, and political infrastructure on which our well-being depends.

La idea de un restaurante sumido en apuros que se salva gracias a los consejos y el mando firme de un experto chef es una buena narrativa para un entretenimiento televisivo, pero una mala guía para el mundo real. Sabemos que debemos ser escépticos cuando tratamos con expertos, y que la imagen de un negocio que se salva de la quema para acabar imponiéndose en el mercado gracias a un líder carismático y genial es más una falacia narrativa que un hecho real. Las empresas, al fin y al cabo, están formadas por personas, seres humanos que se quejan y se resisten al cambio, que buscan su propio interés y no siempre hacen lo que más les conviene, bien sea por ignorancia, bien sea por desidia. Eso hace de toda misión empresarial un camino lleno de dificultades, incógnitas y sorpresas que ningún libro sobre el tema, por muy versado que sea su autor, puede modelar eficazmente para hacer del éxito una certeza.

Continuará.

Mala ciencia

Consultores, entrenadores, economistas, gurús de las relaciones personales o de la vida en general, consejeros de celebridades, asesores financieros, directores generales, comentaristas deportivos, tertulianos... como ya hablamos, abundan los expertos. Pueblan el espectro electromagnético y nos hacen llegar sus consejos (normalmente equivocados) a través de la televisión, la radio o internet. A la hora de defender sus argumentos suelen apelar a su experiencia personal, al éxito de su carrera o a un puñado de historias de gente que siguió sus consejos y logró un final feliz. Si se les interroga sobre sus fuentes de conocimiento, la respuesta varía según el asunto tratado. Un experto en felicidad puede recurrir a antiguos textos budistas. Un experto en finanzas puede invocar el nombre de grandes autoridades en la materia (algún premio Nobel, por ejemplo). Pero la mayor parte de ellos, en algún momento u otro, echan mano de la ciencia, ya sea en forma de estudios científicos o en palabras de algún académico o investigador. Y es que no hay nada como una pátina de ciencia para defender la solidez de nuestros argumentos:

La ciencia goza de una alta valoración. Aparentemente existe la creencia generalizada de que hay algo especial en la ciencia y en los métodos que utiliza. Cuando a alguna afirmación, razonamiento o investigación se le da el calificativo de «científico», se pretende dar a entender que tiene algún tipo de mérito o una clase especialidad de fiabilidad.
[...] Los anuncios publicitarios afirman con frecuencia que se ha mostrado científicamente que determinado producto es más blanco, más potente, más atractivo sexualmente o de alguna manera preferible a los productos rivales. Con esto esperan dar a entender que su afirmación está especialmente fundamentada e incluso puede que más allá de toda discusión.

Foto de Sergei Golyshev

Según la concepción popular, la ciencia se basa en hechos, afirmaciones sobre el mundo que pueden comprobarse directamente, verdades objetivas que todos hemos de aceptar. Además de eso, lo que hace especial a la ciencia es su método, el «método científico». Lo recordarán del colegio. A grandes rasgos, se empieza con una pregunta («¿por qué el cielo es azul?»), se formula una hipótesis, se desarrollan las consecuencias lógicas de la misma, se lleva a cabo un experimento para ponerla a prueba y se analizan los resultados. Si las pruebas obtenidas en el experimento contradicen la hipótesis es necesario desecharla y desarrollar una nueva. Si la confirman, se comprueban otras predicciones de dicha hipótesis. Una vez la hipótesis cuenta con suficientes pruebas a favor pasa a desarrollarse una teoría.

La calidad de la ciencia reside en los detalles, allí donde, según el dicho, habita el diablo. En cada paso del método científico se puede cometer un traspié y el libro de David H. Freedman titulado Wrong: Why Experts Keep Failing Us - and How to Know When Not to Trust Them contiene una buena lista de todo lo que puede salir mal. Para empezar, pueden cometerse errores en algo tan sencillo como recopilar los datos (al tomar la presión arterial de los sujetos de estudio o al medir la temperatura del océano o al calcular la contaminación del aire). A veces dichos errores nos obligan a tener que descartar observaciones, lo que introduce el problema de qué datos se descartan con razón y cuáles se desechan por un sesgo inconsciente. Terminada la toma de datos, a la hora de analizar los resultados los errores estadísticos son frecuentes.

No es fácil diseñar experimentos para probar ciertas hipótesis, por lo que los científicos a veces sustituyen una pregunta por otra más fácil de responder y acaban midiendo cosas que no importan. Por ejemplo, ante la pregunta «¿este medicamento cura el cáncer?» un estudio puede estar diseñado para determinar si dicho medicamento reduce el tamaño del tumor, ya que medir eso es mucho más sencillo que observar a una población durante años para determinar si los que tomaron el medicamento vivieron más. Por desgracia, el tamaño del tumor puede que no esté relacionado con la mortalidad del cáncer. Este uso de indicadores secundarios es bastante habitual y tiene su máxima expresión en los experimentos con animales. Siempre que se trate de un estudio con otra especie hay que esperar a los resultados con humanos ya que, por mucho que se nos parezcan, nada nos asegura que el resultado sea extrapolable.

Otro error bastante común es que los datos soporten la hipótesis pero que dicha hipótesis sea falsa en realidad y el efecto observado se deba a un tercer factor no contemplado. Por ejemplo, un estudio puede concluir que la gente que duerme menos de seis horas diarias tiene mayor probabilidad de ser obesa. Sin embargo, quizá la razón de que haya correlación entre ambas variables sea que la gente sana se preocupa tanto de hacer ejercicio como de comer y de dormir bien. Si esa fuera la explicación, no es de esperar que uno vaya a adelgazar a base de dormir más cada noche. Todos los tipos de estudio (observacional, epidemiológico, meta-análsis, doble ciego) están afectados por este problema en mayor o menor medida.

Algunos fallos no son tan inocentes y están relacionados con los incentivos a los que se enfrentan los investigadores. Como explica Gerry Carter en su artículo, los objetivos de la ciencia como tal y de quienes la practican no son los mismos. El éxito científico no equivale a éxito académico. Hacer ciencia de calidad (falsificable, repetible y correcta) no lleva automáticamente a ser influyente, reconocido y ascendido. A los científicos se les premia laboralmente por obtener resultados novedosos, revolucionarios y sorprendentes. Estos requisitos, unidos a la enorme competencia, reducen la calidad de la ciencia practicada. Al final, lo que es importante para un científico no es tanto la verdad como el demostrar que algo es cierto, pues eso es lo que necesita para conseguir una plaza en una universidad o dinero para investigación:

Most of us don’t think of scientists and other academic researchers as cheaters. I certainly don’t. What could motivate such surprisingly nontrivial apparent levels of dishonesty? The answer turns out to be pretty simple: researchers need to publish impressive findings to keep their careers alive, and some seem unable to come up with those findings via honest work. Bear in mind that researchers who don’t publish well-regarded work typically don’t get tenure and are forced out of their institutions. It’s an oppressive system and one that’s becoming more so.

Ante las presiones por obtener un resultado positivo, si un estudio no confirma una hipótesis es muy probable que acabe sin ver la luz del día, dado que no contribuye al avance de la carrera del científico. Esto perjudica a la ciencia porque el desarrollo de una teoría depende del conjunto de todos los datos, no solo de los favorables. Por otra parte, abundan quienes torturan los números hasta que les dicen lo que quieren, esto es, hasta que encuentran algo que apoye lo que querían demostrar. En otras ocasiones, un científico puede diseñar un experimento para poner a prueba su hipótesis («¿son más inteligentes las personas guapas?»), encontrarse con otro efecto diferente («no son más inteligentes pero sí más adineradas») y publicar el estudio como si su propósito inicial fuera probar esta última hipótesis (es lo que se conoce como mover los palos de la portería). A veces es una empresa privada la que financia la investigación, como cuando un fabricante de cerveza promueve un estudio que concluye que la cerveza no engorda. Proliferan las pruebas que indican que esta clase de experimentos motivados siempre encuentran lo que estaban buscando.

Por último, no hay que olvidar el fraude puro y llano. En ocasiones se crean datos de la nada o se ocultan algunos de ellos. Asimismo se publican estudios falsos o que nunca tuvieron lugar. Incluso ha habido casos de corrupción en el sistema de revisión por pares. Quienes detectan conductas reprobables no tienen incentivos para denunciarlo debido a que podrían perder su puesto de trabajo o su financiación. Además, uno debe llevarse bien con sus colegas si quiere ver su trabajo publicado.

La ciencia no es un proceso llevado a cabo en el vacío. Es obra de personas de carne y hueso sometidas a los mismos sesgos y limitaciones que el resto de nosotros. A los errores normales de un ser humano hay que sumarle el hecho de que los investigadores están sometidos a mucha competencia lo que, como ocurre en otras profesiones, puede derivar en malas conductas con tal de destacar o, simplemente, mantenerse a flote.

La gente digiere estos hechos de distinta manera. Algunos reniegan totalmente de la ciencia y suscriben (normalmente sin conocerlas) las tesis del filósofo Paul Feyerabend, quien sostenía que la ciencia no posee rasgos especiales que la hagan superior a otras ramas del conocimiento. Él veía la ciencia como la religión moderna y pensaba que desempeña la misma función que ha desempeñado el cristianismo en Europa durante los siglos pasados. Para estas personas, escépticos radicales y posmodernistas, todo es dogma y cada uno abraza el que le parece. Otros buscan en las seudociencias respuestas que la ciencia no tiene (o que sí tiene, pero no concuerdan con su visión del mundo). Finalmente, están quienes reconocen que la ciencia es una tarea ardua y, por ello, siempre tienen presente que no todos los estudios y artículos científicos valen lo mismo, que no todos los científicos son iguales, que la cantidad y calidad de pruebas a favor o en contra de una hipótesis es importante, que parte del conocimiento tiene fecha de caducidad y que la ciencia, en general, es un proceso paulatino de reducción de la incertidumbre y el desconocimiento.

Según un estudio

Pepsi ha anunciado recientemente que va a eliminar el aspartamo de sus bebidas light en Estados Unidos y sustituirlo por sucralosa. Al parecer, la presencia de aspartamo es la razón principal por la que los norteamericanos consumen cada vez menos bebidas sin azúcar, lo que está afectando a las ventas. Este edulcorante ha estado rodeado de polémica desde su aprobación en 1974, proceso que se percibió como plagado de irregularidades, entre las que se incluían puertas giratorias y ocultación de pruebas. Años más tarde, en 1996, un reportaje de 60 minutos trasladó al público general los resultados de un estudio que identificaba este aditivo como la causa de tumores en ratones.

Lo cierto es que después de haber sido estudiado durante más de treinta años no se han encontrado pruebas sólidas de que el aspartamo sea dañino para los humanos. De hecho, dos recientes revisiones de todos los estudios disponibles han concluido que, en los niveles de consumo actuales, es un edulcorante seguro. Aún así, no es difícil encontrar sitios web dedicados a la lucha contra este aditivo.

El aspartamo es solo una de muchas sustancias químicas marcadas de por vida por el resultado de un trabajo voceado por los medios de información de masas. Al igual que ocurre con las vacunas, basta con un único estudio (cuyo método y diseño no tienen ni siquiera que ser sólidos) para sembrar la duda y asentar en el imaginario colectivo la idea de que la sustancia X produce la terrible Y, y que es algo a evitar. No es raro que todo ello venga acompañado del enfrentamiento de grupos partisanos surgidos como hongos y la creación de teorías conspiranoicas.

Aquí concurren dos problemas. El primero es la validez de los periódicos y los telediarios como fuente de información científica. Como escribe Ben Goldacre:

El mayor problema de las noticias sobre ciencia es que se nos presentan sistemáticamente vacías de evidencia científica. ¿Por qué? Porque los periódicos piensan que ustedes no entenderán la «parte científica» del asunto, por lo que todas las noticias sobre ciencia han de pasar previamente por un proceso de reducción de su nivel de dificultad, en un desesperado intento por seducir y atraer a los ignorantes, precisamente, aquellas personas a quienes no interesa la ciencia para nada (tal vez porque los periodistas creen que es buena para todos nosotros y que, por lo tanto, debería democratizarse).

[...] ¿Cómo sortean los medios el problema de su incapacidad para proporcionarnos la evidencia científica propiamente dicha? A menudo, lo hacen recurriendo a figuras de autoridad (un recurso que constituye la antítesis misma de la esencia de la ciencia) y tratándolas como si de curas, políticos o figuras paternas se tratara. «Un grupo de científicos ha dicho hoy que…» «Unos científicos han revelado que…» «Los científicos han advertido que…» Si al periódico o al espacio radiotelevisivo de turno le interesa introducir un poco de equilibrio, nos mostrarán a dos científicos en desacuerdo, aunque sin explicación alguna de por qué (un método cuya más peligrosa versión pudimos ver en acción cuando se extendió el mito de que los científicos estaban «divididos» en torno a la seguridad de la vacuna triple vírica): un científico «revela» algo y, entonces, otro lo «cuestiona». Más o menos, como si fueran caballeros Jedi.

Como ocurre tantas veces, si uno quiere información de calidad debe olvidarse de la prensa general y acudir a las publicaciones especializadas. De esa manera podremos saber qué se midió y cómo, así como lo que se descubrió, y no tendremos que fiarnos ciegamente de las conclusiones que el periodista de turno ha copiado y pegado directamente de la nota de prensa.

Los medios de comunicación son, por otro lado, víctima fácil del sesgo de publicación, esto es, el hecho de que tienden a publicarse únicamente los estudios que muestran un resultado positivo. Como explica magistralmente la viñeta de XKCD, este sesgo lleva a que se difundan en los medios conclusiones absurdas cuya veracidad es asumida por la población general prima facie. Claro que lo contrario también ocurre: a veces son los estudios que no lograron aparecer en prestigiosas revistas con revisión por pares los que se llevan directamente a la prensa para hacerse oír, ya que estos últimos son incapaces de filtrar nada basándose en la calidad del estudio.

Por desgracia, en esto de la ciencia hay más problemas aparte de los periodistas. Hacer ciencia es un proceso enteramente humano y, como tal, no es algo prístino llevado a cabo en un vacío ideal libre de pasiones, sesgos o instintos. La calidad del método científico depende de multitud de detalles que pueden pasarse por alto, bien por negligencia, bien por interés.

Lamentablemente, una de las industrias que más diligente debería ser en este sentido es la que más comportamientos reprobables exhibe. Les hablo de las empresas farmacéuticas. Estas empresas, por ejemplo, publican los resultados de los estudios que dan un resultado positivo, pero ocultan los que muestran que su medicina no es mejor que el placebo o el fármaco equivalente ya disponible. Las nuevas moléculas se estudian en poblaciones no representativas, pacientes ideales o atípicos, o personas que no serán los consumidores finales (por ejemplo, se prueban en personas sanas de países del tercer mundo medicamentos para enfermedades típicas de los países industrializados, como la diabetes). En sus estudios, estas compañías comparan el medicamento que están desarrollando con la peor alternativa posible, o con la mejor alternativa aplicada en dosis incorrectas. Interrumpen los ensayos clínicos en cuanto se atisba algún resultado positivo, aún cuando ello ocurra mucho antes de la fecha prevista de fin del mismo, con lo que se ocultan posibles efectos secundarios a largo plazo. Se recluta a poca gente para los estudios, aumentando así las posibilidades de obtener un resultado positivo simplemente por azar. Finalizado el estudio, los datos se masajean o torturan de mil maneras hasta conseguir una conclusión favorable. Y así siguiendo. El lector interesado puede consultar una buena lista de prácticas discutibles en el libro de Ben Goldacre dedicado a este tema.

Pero la medicina no es la única disciplina aquejada de ciertos males en su aplicación del método científico. La psicología, verbigracia, está afectada por el sesgo WEIRD, a saber, el hecho de que del sesenta al noventa por ciento de estudios se realiza en sujetos «western, educated, and from industrialized, rich, and democratic countries», a pesar de que estos representan únicamente un octavo de la población mundial. Y las ciencias sociales en general viven bajo la duda del problema de la replicación, una crisis de confianza surgida de los fallos obtenidos al tratar de replicar los resultados de una investigación dada en experimentos similares. En 2008, por ejemplo, Simone Schnall y sus colaboradores concluyeron en su estudio que la dureza de los juicios morales de las personas cambiaba según las sensaciones de limpieza o suciedad de los individuos, de manera que si –entre otras cosas– los sujetos del estudio se lavaban las manos antes de emitir un juicio moral, este resultaba ser menos severo. Sin embargo, David Johnson, Felix Cheun y Brent Donnellan repitieron el experimento y no encontraron dicho efecto. Este es solo uno de los estudios que aparecían en un número especial (les dejo un enlace alternativo por si no funciona el anterior) de la revista Social Psychology publicado el año pasado en el que se intentaron replicar veintisiete hallazgos importantes en psicología social. En esta misma línea, recientemente se han publicado los primeros resultados del estudio más ambicioso de este tipo, en el que se intentaban replicar los hallazgos de cien estudios de psicología. Los datos preliminares no son muy halagüeños.

En realidad, la «crisis de la replicación» no es específica de las ciencias sociales. Un célebre artículo de John P. A. Ioannidis publicado en 2005 aseguraba que la mayoría de los resultados publicados en medicina son falsos:

In 2005, an Athens-raised medical researcher named John P. Ioannidis published a controversial paper titled “Why Most Published Research Findings Are False.” The paper studied positive findings documented in peer-reviewed journals: descriptions of successful predictions of medical hypotheses carried out in laboratory experiments. It concluded that most of these findings were likely to fail when applied in the real world. Bayer Laboratories recently confirmed Ioannidis’s hypothesis. They could not replicate about two-thirds of the positive findings claimed in medical journals when they attempted the experiments themselves.

De ahí que sea tan importante realizar varias veces el mismo experimento, pues solo de esa manera podemos alcanzar cierto nivel de confianza en el resultado obtenido. En palabras de Karl Popper:

Only when certain events recur in accordance with rules or regularities, as is the case with repeatable experiments, can our observations be tested — in principle — by anyone. We do not take even our own observations quite seriously, or accept them as scientific observations, until we have repeated and tested them. Only by such repetitions can we convince ourselves that we are not dealing with a mere isolated ‘coincidence’, but with events which, on account of their regularity and reproducibility, are in principle inter-subjectively testable.

Con un solo estudio puede demostrarse casi cualquier cosa, y Google puede llevarnos a donde queramos. Para la mayoría, buscar pruebas significa poner en el buscador lo que queremos encontrar, como aquella amiga mía que introdujo la frase «la cerveza no engorda» para encontrar algo con lo que sostener su convencimiento. Esa es, obviamente, la forma errónea de actuar, pues lo importante a la hora de tomar una decisión es revisar todas las pruebas disponibles:

[Y]ou have to interpret a literature, not a single study. The results of one lab or one study can be erroneous. When decades have produced hundreds of studies on a question, the cherry pickers will always have a lot to choose from. That is why systematic reviews are necessary, and it is also necessary to understand the strengths and weaknesses of each type of research.

La imagen que ilustra este artículo es el logotipo de Cochrane Collaboration, una organización internacional e independiente de académicos voluntarios sin ánimo de lucro que elabora y publica revisiones sistemáticas de estudios médicos. Este logotipo es un diagrama de bosque de un metaanálisis realizado en su momento sobre la administración de corticoesteroides en bebés prematuros. Cada línea horizontal representa un estudio. Cuanto más larga es esta línea, más incierto fue el resultado del estudio. Si la línea se sitúa a la izquierda de la línea vertical significa que los esteroides fueron mejores que el placebo; si se sitúa a la derecha, significa que los esteroides funcionaron peor. La posición del rombo indica la respuesta obtenida del conjunto de todos los estudios. En este caso, dicho resultado muestra una reducción de entre el treinta y el cincuenta por ciento del riesgo de muerte del bebé prematuro cuando se le administran los esteroides. Hasta que no se publicó esta revisión en 1989 muchos bebés murieron al desconocer los óbstetras la efectividad de dicho tratamiento.

Sería maravilloso que existieran diagramas de bosque al alcance de la mano para cualquiera de nuestras preocupaciones, ya sean los edulcorantes, las vacunas, las ondas de radiofrecuencia, los transgénicos, el fracking o cualquier otro asunto importante. Actualmente existe un creciente movimiento a favor de la política basada en pruebas, el cual trata de llevar el método de investigación clínico a otras áreas, como las ciencias sociales. Desgraciadamente, como hemos hablado en varias ocasiones, es difícil que tenga un gran efecto. Siempre se pueden poner en duda las motivaciones de quien lo elabora, el método y las compañías que hay detrás. Y siempre nos toparemos con actitudes como la de Janet Starr Hull, la responsable de www.sweetpoison.com: «I will never accept the news of aspartame safety».