¿Experto o cuñado? (y V)

En cierta ocasión mi tiroides se descontroló y comenzó a producir demasiada tiroxina. Cuando el médico que me atendía por aquel entonces empezó a escribir la receta dudó un momento y sacó un libro de un cajón de su escritorio. Me dijo que quería asegurarse de que el medicamento que me iba a recetar no tenía interacciones con otros que tomaba. Lo comprobó, terminó la receta, me lo tomé y todo solucionado.

Era un médico joven y tal vez otro paciente hubiera interpretado esa necesidad de consultar el libro de referencia como un signo de incompetencia. Creo que David Freedman tiene algo de razón cuando dice que preferimos a los galenos que muestran más confianza en sí mismos:

Imagine you’ve developed chronic back pain, and you decide to get opinions from two orthopedic specialists. The first one examines you, looks at some MRI images, and tells you the following: “I’ve seen many, many cases just like yours, and it’s usually very hard to say exactly what’s wrong. Different treatments work to varying degrees for different people with this sort of problem, it’s very hard to predict which will work for any person, and most of the time none of the treatments is all that successful. I really can’t predict what, if anything, is likely to work for you. I suggest we try treatment A, which usually doesn’t work but which at least tends to work slightly more often on patients like you than do any of the other treatments. Come back in a month, and if it’s working we’ll continue it, and if it isn’t we’ll try something else.” The second doctor examines you, looks at some MRI images, and tells you the following: “I’ve seen many, many cases just like yours, and I can tell exactly what’s wrong with your back. Most patients with this problem respond very well to treatment B, and I’m pretty sure you will, too. Come in once a month for the treatment, and that should do the trick.”

Which doctor do you go with? When I ask people this question, almost all of them say they’d go with the second doctor. At which point I ask them another question: if you were told one of these doctors had recently been named Wisest Orthopedist of the Year by the state orthopedic society while the other was known to his colleagues behind his back as Bozo the Orthopedist, which would you guess is which? Almost everyone guesses without hesitation that the second doctor is the one who gets no respect. But why would we prefer the advice of someone whose wisdom we’re so quick to question? Apparently we like the second doctor’s advice so much that we’re willing to take a chance on it, in spite of whatever qualms we might have about its reliability.

En mi trabajo todos buscamos soluciones en Google cada día. Dependemos tanto de él que uno se pregunta cómo era trabajar antes de tener dicha herramienta, a la vez que se plantea si en realidad sabe algo, un sentimiento que he visto expresar con este simpático emoticono:

|----------------------------|
| Most days, I've   |
| no idea what      |
| I'm doin. google |
| quote searches   |
| have saved my   |
| ass more'n I can|
| count                  |
|----------------------------|
 (\__/)||
(•ㅅ•)||
/ 　 づ

Lo hablaba con un compañero hace más de una década. Son tantas las ocasiones en las que para hacer mi trabajo sigo los pasos que ha escrito un internauta desconocido que acabo sintiéndome el hombre en la habitación china. Mi colega sostenía que el hecho de buscar no implica ignorancia supina. Al fin y al cabo, se necesitan conocimientos de base para saber lo que se está leyendo, así como cuándo y en qué situaciones aplicar lo aprendido. También puede ocurrir al revés, es decir, que una persona puede memorizar montones de datos y hechos y seguir siendo estúpida:

Accessing the Internet can actually make people dumber than if they had never engaged a subject at all. The very act of searching for information makes people think they’ve learned something, when in fact they’re more likely to be immersed in yet more data they do not understand. This happens because after enough time surfing, people no longer can distinguish between things that may have flashed before their eyes and things they actually know.

En otra ocasión dos compañeros discutían sobre un curso que uno de ellos había hecho. Él primero sostenía que había aprendido mucho mientras el otro le replicaba que no le habían enseñado nada porque sí, le habían mostrado cómo usar ciertas herramientas, pero no le habían explicado cómo funcionaban estas. Dicho de otro modo, le habían enseñado a conducir pero no cómo funcionaba el motor. Un antiguo colega bromeaba con esto diciendo: «lo que hacemos (programar) es ofimática. Somos iguales que la gente que usa el Word: escribimos para obtener lo que queremos sin saber cómo funciona por debajo.».

¿Hasta qué punto es equiparable la competencia con la capacidad de memorización de datos? ¿Hasta qué nivel es necesario saber cómo funciona algo para considerar que sabemos? Vimos hace unos años que tendemos a confundir familiaridad con conocimiento y que este suele ser mucho más superficial de lo que creemos. Aún así, cabe argumentar que no es necesario ser capaz de conocer los detalles hasta el nivel más bajo. Un médico, por ejemplo, no necesita conocer la dinámica de partículas subatómicas en detalle, le basta con llegar al nivel de las células. Es una falacia muy extendida en mi sector, donde aquellos que mejor se desenvuelven con código cercano a la máquina son considerados más competentes. Creo que eso es un signo de miopía intelectual ya que podemos tener conocimientos a distintos niveles (átomos, células, organismos, ecosistemas; átomos, minerales, rocas, planetas) y los niveles más bajos no son especiales.

Conocer datos y hechos, entender lo que significan, llegar a ellos a través de métodos que tienden a producir datos y hechos ciertos, ser capaz de hacer predicciones acertadas, ser consciente del grado de fiabilidad de lo que se sabe así como de las lagunas en el conocimiento propio... todo esto es lo que distingue al verdadero experto del cuñado. Por contra, repetir como un loro tópicos o lo que se ha leído en un periódico o visto en una web cualquiera sin saber lo que significa es lo que retrata al cuñado.

¿Experto o cuñado? (IV)

Últimamente me he aficionado a los vídeos del canal de Youtube Power Art. Uno de sus aspectos destacables es la fluidez con la que el presentador habla de la historia del modelo que analiza, de sus datos técnicos y del diseño. Bastan unos pocos minutos de vídeo para considerar a este hombre versado en el mundo del motor, máxime si lo comparamos con el resto de canales dedicados a mostrar coches nuevos, los cuales se limitan a describir las partes visibles del vehículo y contar sus impresiones a base de tópicos.

Imagen de Wikimedia Commons

Pero ¿realmente estamos ante un experto? Quizá se limite a leer un guión. Tal vez nos esté confundiendo su buena actuación ante la cámara. Los actores de la serie de televisión Urgencias o House no sabían nada sobre medicina pero resultaban convincentes. También lo es uno de mis mejores amigos, el cual trabaja como monitor de gimnasio y da clases de GAP, spinning, pilates y lo que le pidan. Él no ha recibido formación reglada en ninguna de esas disciplinas pero no le falta trabajo. Para ello, antes de ir a la entrevista mira unos cuantos vídeos en Youtube, se aprende una clase de memoria y lo enseña en la entrevista. Lleva superando procesos de selección de esta forma más de diez años.

¿Cómo podemos reconocer a un verdadero experto? ¿Cómo detectar a un impostor o a un ignorante? No creo que haya una sola prueba que pueda separar al experto del resto, más bien tendremos que ir acumulando pruebas que confirmen o desmientan nuestra valoración. Se parece un poco a detectar un billete falso ¿Tiene la marca de agua? ¿Se ve el hilo de seguridad? ¿El holograma muestra los reflejos esperados? Cuantas más «pruebas» supere el billete que tendremos entre manos más seguros podremos estar de nuestro juicio. Pero, a diferencia del billete, con el experto nunca podremos estar seguros totalmente de nuestra evaluación; como máximo podemos aspirar a cierta probabilidad de que nuestro juicio sea correcto dentro de un margen de error dado.

David H. Freedman nos sugiere estas sencillas normas para saber si las opiniones de un experto tienen altas probabilidades de ser equivocadas (énfasis en el original):

Expert advice with a higher-than-average likelihood of being wrong is often given away by any number of tells. Be extra wary if the advice fits any of these descriptions:

It’s simplistic, universal, and definitive. [...] When advice is of the sort that promises broad benefits and can be described in a sound bite or headline—“Drinking Coffee Extends Life Span!”—chances are good that either it’s coming from an expert who has wandered off track through mismeasurement, bad analysis, or bias, or something has been lost in the translation as the findings made their way through research journals and the mass media. [...]
It’s supported by only a single study, or many small or less careful ones, or animal studies. Any advice based on one study should be regarded as highly tentative, no matter how good the study seems. The more studies, the better, as a rough rule, but even a series of big, rigorous studies can occasionally produce wrong conclusions. [...]
It’s groundbreaking. For one thing, most expert insights that seem novel and surprising are based on a small number of less rigorous studies and often on just one small or animal study. [...]
It’s pushed by people or organizations that stand to benefit from its acceptance. All experts stand to benefit from their research winning a big audience, of course, and that’s well worth remembering, but in some cases the potential conflict of interest is more likely to be corrosive. That’s especially true when the research is coming out of or being directly funded by individual companies or industry groups whose profits may be impacted by the findings. [...]
It’s geared toward preventing a future occurrence of a prominent recent failure or crisis. This is the “locking the barn door” effect: we’re so irked or even traumatized by whatever has just gone wrong that we’re eager to do now whatever we might have done before to have avoided the problem. It’s about as smart a strategy as standing on a twelve in blackjack with the dealer showing a face card, just because you’ve busted twice in a row.

De manera similar, también describe algunas características de los consejos más fiables (ibídem):

It doesn’t trip the other alarms. [...] we ought to give more weight to expert advice that isn’t simplistic; that is supported by many large, careful studies; that is consistent with what we mostly believe to be true; that avoids conflicts of interest; and that isn’t a reaction to a recent crisis.
It’s a negative finding. [...] There isn’t much reason to game a disappointing conclusion, and anyone who publishes one or reports on it probably isn’t overly concerned with compromising truth in order to dazzle readers.
It’s heavy on qualifying statements. [...] sometimes journal articles and media reports do contain comments and information intended to get us to question the reliability of the study methodology, or of the data analysis, or of how broadly the findings apply. Given that we should pretty much always question the reliability and applicability of expert findings, it can only speak to the credibility of the experts, editors, or reporters who explicitly raise these questions, encouraging us to do the same.
It’s candid about refutational evidence. Claims by experts rarely stand unopposed or enjoy the support of all available data. (A saying in academia: for every PhD, there’s an equal and opposite PhD.) Any expert, journal editor, or reporter who takes the trouble to dig up this sort of conflicting information and highlight it when passing on to us a claim ought to get a bit more of our attention.[...]
It provides some context for the research. Expert findings rarely emerge clear out of the blue—there is usually a history of claims and counterclaims, previous studies, arguments pro and con, alternative theories, new studies under way, and so forth. [...]
It provides perspective. [...] more trustworthy pronouncements tend to more clearly spell out the limitations in their relevance—that a treatment has been tried only on animals or on healthy people, for example, or that a shift in real-estate prices has been clearly observed only in higher-end homes or in one part of the country. [...]
It includes candid, blunt comments. [...] I don’t think you can be confident of really understanding the reliability or significance of an expert claim unless you’ve heard the expert herself or other well-informed experts express their doubts and skepticism. The best places to look for such comments, in my experience, are in longer magazine articles, in letters to journals, and occasionally in radio interviews.

De todos los indicios listados mi favorito es la sinceridad acerca de las pruebas que desmienten la hipótesis. A mi juicio, el experto, para ser tal, debe conocer en profundidad los aspectos más débiles de sus teorías, un requisito que demandaba John Stuart Mill:

En vuestros días está de moda despreciar la lógica negativa que es la que descubre los puntos débiles en la teoría o los errores en la práctica, sin establecer verdades positivas. Semejante crítica negativa sería pobre como resultado final; pero como medio de alcanzar un conocimiento positivo o una convicción digna de tal nombre, nunca será valorada demasiado alto; y hasta que los hombres sean de nuevo y sistemáticamente educados para esto, habrá pocos grandes pensadores y el nivel intelectual medio será bajo, excepto en las especulaciones matemáticas y físicas. En todas las demás materias, ninguna opinión merece el nombre de conocimiento, en tanto que, bien forzado por los demás, bien espontáneamente, no ha seguido el mismo proceso mental a que le hubiera obligado una controversia con sus adversarios.

Después de lo que hemos visto en esta serie de artículos podríamos agregar algunos criterios de nuestra propia cosecha. Primero, que el conocimiento de la persona en cuestión sea fruto de un proceso que tiende a producir verdadero conocimiento. Por ejemplo, el presentador de Power Art es ingeniero mecánico mientras que mi amigo, como he dicho, se alimenta de vídeos de YouTube. No creo que sea controvertido decir que, basándonos únicamente en la formación, el primero tiene más probabilidades de ser un experto real que mi amigo.

Segundo, el verdadero experto es capaz de hacer predicciones que son correctas. El tipo de predicciones dependerá de la materia en concreto. En el caso de mi amigo él debería ser capaz de producir en sus clientes los cambios físicos que demandan (perder peso, ganar fuerza) cuando estos hacen todo lo que mi amigo les dice. El presentador de Power Art, por su parte, hace de ingeniero de pista para un equipo de carreras así que el éxito de sus predicciones se verá en el comportamiento del coche durante la competición.

Finalmente, una de las formas más fiables pero menos útiles para calibrar el conocimiento ajeno es tener uno mismo conocimientos sobre el tema. No siempre podemos alcanzar el nivel requerido para distinguir a un genio de un mediocre y, además, debemos tener la cautela de no favorecer a aquellos expertos que comulgan con nuestras ideas, tachando a los contrarios de ignorantes, pero es de suyo evidente que cuanto más conozcamos la materia mejor cualificados estaremos para juzgar.

Continuará.

Confía en mí, soy un experto

La ley de Cunningham, versión actualizada del dicho francés prêcher le faux pour savoir le vrai (predica lo falso para obtener la verdad), establece que la mejor manera de obtener la respuesta correcta en internet no es hacer una pregunta, sino publicar la respuesta equivocada. Se basa en el hecho de que, al parecer, las personas somos más proclives a corregir a los demás que a simplemente responder sus dudas. Huelga decir que esta tendencia no se limita al mundo digital. Si, como el abajo firmante, han pasado algún tiempo en una sala de pesas concurrida sabrán a qué me refiero. No hay gimnasio que no cuente con su experto o grupo de expertos empeñados en afear el entrenamiento de los demás y corregir cada aspecto de su rutina de ejercicio, desde la selección de los movimientos hasta su ejecución, todo ello sin ninguna solicitud previa por parte de la víctima.

XKCD: Dutty Calls

Desde pequeñito he recurrido a los expertos. Siempre que quería hacer algo quería hacerlo bien y procuraba empaparme, principalmente a través de la lectura, de las enseñanzas de los entendidos en el campo en cuestión para saber cuál era la forma «correcta». Recuerdo, verbigracia, un álbum de cromos que tenía en el que Paco Gento enseñaba a jugar al fútbol (cómo regatear, cómo pasar, cómo chutar...). Y así, con el paso de los años mi biblioteca se ha llenado de libros escritos por los maestros de cada palo que he tocado, desde los dinosaurios hasta la programación, pasando por el entrenamiento físico o la fisioterapia, entre muchos otros. Encontré que, sin importar el tema del que se tratara, en cada caso había una gran cantidad de conocimiento por descubrir y un gigantesco ejército de guardianes de dicho conocimiento. Como dice la narración inicial del documental La industria de los expertos:

Expertos: no podemos vivir sin ellos. Nos dicen cómo arreglar nuestro coche, cómo decorar nuestra casa, cómo criar a nuestros hijos y cómo cocinar nuestros alimentos. Nos dicen qué vinos beber, qué arte comprar y qué opiniones debemos tener, además de cómo comer bien, cómo hacer ejercicio bien y cómo vivir eternamente. Están en todas partes y los necesitamos porque vivimos en un mundo frenético donde hay demasiada información para procesarla por nosotros mismos.

Efectivamente, hay expertos para todo. Desde lo más banal (pelar una naranja) a lo más importante (vivir) es posible encontrar un buen puñado de eruditos, entrenadores, analistas y consultores que afirman poseer la solución óptima o el enfoque adecuado. Publican libros, escriben blogs, salen por la televisión, hablan en la radio y ofrecen sus servicios como entrenadores o consejeros. Con tal cantidad de asesoramiento disponible uno no puede dejar de preguntarse cómo es que hay todavía tantos problemas en el mundo. ¿Por qué nuestro equipo favorito sigue fichando jugadores que no dan la talla? ¿Por qué hay todavía millones de personas que viven en la pobreza extrema? ¿Por qué la obesidad continúa aumentando en los países desarrollados? ¿Por qué tomamos tantos antidepresivos? ¿Cómo es posible que aún no se hayan logrado domar los ciclos económicos? Y lo más importante: ¿por qué hay todavía gente tan estúpida y que hace las cosas tan mal?

Sospecho que mentalmente han respondido a dichas preguntas con alguna variación de esta afirmación: los expertos no tienen ni idea. Si ha sido así, sepan que las pruebas en favor de una versión débil de esta hipótesis se han ido acumulando con el tiempo. Los expertos en vino son incapaces de distinguir uno bueno de uno barato (algunos de estos experimentos son mencionados en el documental). Los expertos en arte pueden ser engañados (otro ejemplo del documental). Los inversores financieros son incapaces de batir de manera consistente al mercado, lo que está llevando el dinero de los fondos de gestión activa a los fondos indexados. Los expertos en política son, tomando sus predicciones en conjunto, poco mejores que un chimpancé lanzando dardos a una diana. Por no hablar de los economistas y las crisis financieras.

Una de las pruebas más evidentes de que los expertos saben menos de lo que creen saber es que son incapaces de ponerse de acuerdo entre ellos mismos. Si reunimos a una muestra representativa de gente versada en un mismo tema, entre ellos mantendrán opiniones opuestas. En ese caso, obviamente, no todos pueden tener razón. De nuevo el gimnasio es buen ejemplo: da igual lo que hagas, siempre habrá alguien que te diga que lo estás haciendo mal y debes hacer «esto otro». Si haces press de banca con los pies en el suelo, te dirán que los mantengas en el aire («para aislar el pectoral»). Si los mantienes en el aire, te recomendarán que los apoyes en el suelo («para mantener la estabilidad»). Si corres en la cinta, te mandarán a la máquina elíptica («es menos agresiva con las articulaciones»). Si te subes en la elíptica, te mandarán a la cinta de correr («es un movimiento más natural»). De la misma forma: ¿una economía se reflota con gasto público o con austeridad fiscal? ¿Nuestra dieta debe basarse principalmente en glúcidos, proteínas o grasas? ¿El bebé debe dormir con los padres o en su cuna? ¿Hay que dejarle llorar hasta que se canse o cogerle en brazos? En la vida ¿debemos ser optimistas a toda costa o potenciar nuestro carácter natural? ¿Debemos luchar por mejorar esa relación difícil o abandonarla? La tortilla de patatas ¿con cebolla o sin cebolla?

Curiosamente, las cadenas de radio y televisión aprovechan estas discrepancias para rellenar su programación. Un formato habitual de programa consiste en sentar a uno o varios expertos en política o economía con visiones opuestas y hacerlos discutir durante horas con el pretexto de analizar la actualidad. Por desgracia, los incentivos que tienen los medios de comunicación les hacen escoger los peores expertos de entre todos los disponibles. David Freedman nos recuerda que la prioridad de la prensa, la televisión y la radio no es hacernos llegar la verdad, sino lograr que los leamos, veamos o escuchemos:

The media don’t, by and large, exist solely to tell us what’s right and true; they exist to get us to read about, watch, and listen to them, and that often means selecting and presenting expert findings in a way that is entertaining, provocative, useful sounding, and otherwise satisfyingly resonant. Claiming that journalists are devoted to bringing the truth to light is a bit like saying accountants are dedicated to upholding tax laws—it’s often more about knowing how far you can go in the other direction without getting into real trouble.

Es por ello que las cadenas buscan expertos que ofrezcan consejos simples, decisivos, universales y fáciles de digerir, personas confiadas que puedan decir frases memorables y no atiendan a matices. Philip Tetlock descubrió que, por desgracia, este tipo de experto demandado por los medios de comunicación es el que más se equivoca:

[O]ne of the more disconcerting results of this project has been the discovery of an inverse relationship between how well experts do on our scientific indicators of good judgment and how attractive these experts are to the media and other consumers of expertise. The same self-assured hedgehog style of reasoning that suppresses forecasting accuracy and slows belief updating translates into compelling media performances: attention-grabbing bold predictions that are rarely checked for accuracy and, when found to be wrong, that forecasters steadfastly defend as “soon to be right,” or “almost right” or as the “right mistakes” to have made given the available information and choices.

Un ejemplo paradigmático de esto es el fútbol. Como demuestra casi cada día el blog La libreta de Van Gaal, los expertos y periodistas deportivos no dan una en sus pronósticos sobre resultados, nunca atinan con los fichajes, y se contradicen a sí mismos con toda naturalidad y ninguna vergüenza. A pesar de ello, salmodian como si poseyeran la verdad absoluta, prístina e incuestionable. Desafortunadamente, el panorama en áreas tales como la economía o la política (mucho menos importantes que el fútbol, por supuesto) es igual de deprimente.

Los anglosajones tienen su propio término para esos consejos que salen de boca de los expertos informales de gimnasio: bro science. Evidentemente, se trata de un término peyorativo. También tienen otra expresión que utilizan a modo de escudo aquellos que hacen gala de cierto desarrollo muscular cuando alguien cuestiona sus falsos mitos o creencias sobre la fisiología humana: «do you event lift?». La idea subyacente a dicha frase, y que casi no necesito explicar, es que ciertos logros conllevan cierto conocimiento, por lo que si alguien no alcanza dichos logros se debe que en realidad es un ignorante.

Es esta una barrera de la que cualquier experto puede echar mano para defenderse de los legos en la materia: tú no has logrado nada en este campo, no tienes mis credenciales ni mi experiencia. Por tanto, no sabes nada y no estás capacitados para cuestionarme. Claro que ese es un argumento de autoridad circular: el experto tiene razón porque solo los expertos en un campo son los que saben y él es un experto. Lo bueno es que en estas situaciones siempre es posible señalar a otro experto más distinguido que opine lo mismo que nosotros. Google siempre nos dará la razón.

La Roca (I)

When my information changes, I alter my conclusions. What do you do, sir?

–John Maynard Keynes

Como ejemplo de ese debate político de apariencia racional pero con fondo emotivista en el que todos nos hayamos envueltos, en el verano de 2014 se publicó un manifiesto titulado Última llamada que sostenía que nos hallamos inmersos en una crisis de civilización. Dicho manifiesto fue criticado por gente de Politikon en estos términos (el énfasis es mío):

[C]onstruye una madeja de declaraciones altisonantes y maximalistas que ni se apoyan en argumentos racionales ni se soportan en datos; o, lo que es peor, con frecuencia van contra la evidencia de que disponemos.

La queja aquí es un clásico desde la Ilustración. Se supone que ya no vivimos en un tiempo dominado por grandes teorías desarrolladas por autoridades como Aristóteles cuya veracidad se asume cual dogma de fe, sino que disponemos de la ciencia para alcanzar la verdad. Ya no es necesario elucubrar; tenemos datos y pruebas que nos dicen lo que hay y lo que es, y obviar o contradecir dichas pruebas es propio de gente irracional, ignorantes o arteros prosélitos tratando de imponer su agenda ideológica.

Tiempo después David Ruiz publicó un artículo en el que mostraba otros datos que contradecían la evidencia aportada por la gente de Politikon. Les recomiendo el artículo de Ruiz porque demuestra lo fácil que es encontrar para cada «prueba» su contraria, y cómo esto de recabar evidencias se parece mucho a ir a recoger frutos silvestres, donde uno elige los que le parecen más apetitosos y deja el resto ocultos en la mata. Es un fenómeno especialmente notable en eso de la economía, donde –sin importar la ideología del economista de turno– se topa uno con largas listas de estudios que «prueban» las tesis del autor y echan por tierra las del contrario. Los psicólogos tienen un término propio para eso que los ingleses llaman cherry picking:

Psychologists now have file cabinets full of findings on “motivated reasoning,” showing the many tricks people use to reach the conclusions they want to reach. When subjects are told that an intelligence test gave them a low score, they choose to read articles criticizing (rather than supporting) the validity of IQ tests. When people read a (fictitious) scientific study that reports a link between caffeine consumption and breast cancer, women who are heavy coffee drinkers find more flaws in the study than do men and less caffeinated women. Pete Ditto, at the University of California at Irvine, asked subjects to lick a strip of paper to determine whether they have a serious enzyme deficiency. He found that people wait longer for the paper to change color (which it never does) when a color change is desirable than when it indicates a deficiency, and those who get the undesirable prognosis find more reasons why the test might not be accurate (for example, “My mouth was unusually dry today”).

Foto de Dave Sutherland

Solemos pensar que si alguien sostiene una tesis y le enseñamos pruebas en contra entonces esa persona debería cambiar de parecer. Asumimos también que cuantas más pruebas aportemos más razones tiene para abandonar su posición, y que no hacerlo es irracional. Es decir, damos por sentado que las personas seguimos un proceso de aprendizaje bayesiano. En la década de los cincuenta, Ward Edwards concluyó que los humanos somos «aproximadamente bayesianos». Los modelos formales asumen que ajustar nuestras creencias es algo que tiene lugar sin problemas. ¿Cómo de buenos (o malos) bayesianos somos realmente? ¿En qué grado ajustamos nuestras creencias según las pruebas?

Voy a ahorrarles el suspense: los humanos nos resistimos a actualizar nuestras creencias, sobre todo cuando las pruebas que evaluamos contradicen lo que pensamos. Décadas de investigaciones posteriores a Edwards de la mano de Kahneman y Tversky nos han mostrado que, de hecho, las personas no pensamos de forma bayesiana. Como explica Philip Tetlock:

Decades of laboratory research on “cognitive conservatism” warn us that even highly educated people tend to be balky belief updaters who admit mistakes grudgingly and defend their prior positions tenaciously.

Y en la nota al pie continúa:

Some researchers have concluded that people are such bad Bayesians that they are not Bayesians at all (Fischhoff and Beyth-Marom, “Hypothesis Evaluation from a Bayesian Perspective”). Early work on cognitive conservatism showed that people clung too long to the only information they initially had—information that typically took the form of base rates of variously colored poker chips that defined judges’ “priors.”

Tetlock cuantificó este «déficit bayesiano» en su célebre estudio sobre los expertos. Cuando erraban en su respuesta, los sujetos de estudio ajustaban sus creencias a la luz de nuevas pruebas en un grado bastante inferior al que prescribe la regla de Bayes, entre un diecinueve y un cincuenta y nueve por ciento de lo que deberían. Por contra, allí donde habían acertado el ajuste de creencia se situaba entre el sesenta y el ochenta por ciento del que debería ser.

El experimento de Tetlock consistió en pedir a doscientos ochenta y cuatro expertos que hicieran predicciones sobre una variedad de escenarios políticos: la URSS, la Unión Europea, la primera Guerra del Golfo, Yugoslavia, Sudáfrica y muchos otros. Años después evaluó el nivel de acierto de las predicciones. En conjunto, los expertos no lo hicieron mejor que un grupo de chimpancés lanzando dardos a una diana.

Es interesante ver cómo se defendieron estos expertos cuando tuvieron que confrontar sus fallos. Puede que las personas seamos idiotas, pero no queremos aparentarlo. Por fortuna, contamos con una poderosa máquina generadora de justificaciones a la que podemos recurrir para lavar nuestra imagen y seguir en nuestros trece. Todos tenemos a nuestra disposición un elaborado sistema de defensas para nuestras creencias, y ya vimos que las personas inteligentes están acostumbradas a usar su intelecto para proteger creencias poco inteligentes. En el caso de los expertos, algunas de estas justificaciones fueron el «casi acierto» («lo que predije no pasó, pero casi ocurre»), el «acabará pasando» («lo que yo predije acabará teniendo lugar, solo hay que esperar»), el «ocurrió algo inesperado» («de no haber sucedido aquel hecho improbable yo habría acertado») y el siempre útil «es complicado» («es imposible predecir el futuro»). En ausencia de contrafactuales, algunas de estas defensas ahondan en oscuras cuestiones epistemológicas y tienen cierta solidez filosófica, por lo que no son fácilmente descartables como simples excusas.

Continuará

Ilusos

Hoy les traigo un pequeño juego que no les tomará más de un minuto. De 1 a 7, donde 1 significa «no tengo ni idea» y 7 significa «tengo un conocimiento exhaustivo», valoren el conocimiento que tienen sobre cómo funciona una bicicleta. Tengan presente que no es necesario ser un mecánico experto para otorgarse un 7 (ese caso sería un 7++) y que lo que han de valorar es cuánto saben ustedes, no cuánto creen que saben comparados con otros. ¿Lo tienen? Ahora fíjense en el siguiente esquema:

Tomen una hoja de papel y traten de completar las partes que faltan: cuadro, pedales y cadena. Cuando hayan terminado pueden comparar el resultado con la imagen de una bicicleta real.

¿Qué tal les ha ido? Mi hermana ha dibujado una cadena que unía las dos ruedas y ha situado los pedales en la rueda delantera. Además ha pasado por alto las partes que faltan del cuadro. A mí me ha faltado dibujar la vaina inferior de la parte trasera del mismo, aunque he colocado correctamente cadena, pedales y el resto de la estructura. Después de haber pasado buena parte de mi adolescencia sobre un sillín pensaba que mi conocimiento era al menos un cinco, y aún así me he olvidado de una parte fundamental.

Esta tarea forma parte de un experimento ideado por la psicóloga británica Rebecca Lawson. En promedio, las personas que participaron en este estudio calificaron su nivel de conocimiento pre-test en 4,6. Aún así, más del 40% de ellos cometieron al menos un error.

Los psicólogos Christopher Chabris y Daniels Simons mencionan este estudio en su libro El gorila invisible para ilustrar lo que llaman «ilusión de conocimiento» (énfasis en el original):

«Sobre la base de nuestra amplia experiencia y familiaridad con las máquinas y herramientas comunes, solemos creer que tenemos una profunda comprensión de cómo funcionan. Invitamos al lector a que piense en cada uno de los siguientes objetos y que luego juzgue el conocimiento que tiene de ellos con la misma escala (de 1 a 7): un indicador de velocidad de un automóvil, una cremallera, la tecla de un piano, un inodoro, una cerradura cilíndrica, un helicóptero y una máquina de coser. Ahora, pruebe a hacer otra tarea: escoja el objeto al que le dio la mayor puntuación, el que cree que entiende mejor, y trate de explicar cómo funciona. Dé el tipo de explicación que le daría a un niño persistentemente inquisitivo –trate de generar una descripción detallada paso a paso de cómo y por qué funciona–. Es decir, intente dar cuenta de las conexiones causales entre cada paso.

[...] Antes de intentar realizar esta tarea, intuitivamente quizá pensaba que entendía cómo funcionaba un inodoro, pero lo que realmente entendía era cómo hacerlo funcionar –y es probable que supiera cómo desatascarlo–. Quizás entienda cómo interactúan sus diversas partes visibles y cómo se mueven en conjunto. Y, si ha estado mirando dentro de uno y jugando un poco con el mecanismo, su impresión de conocerlo es ilusoria: confunde saber lo que ocurre con por qué sucede, y confunde su sentimiento de familiaridad con un conocimiento genuino.»

Chabris y Simons describen también el trabajo de Leon Rozenblit, quien llevó a cabo una serie de experimentos en los que preguntaba a alguien si sabía, verbigracia, por qué el cielo es azul, y después se comportaba como un niño pequeño, preguntando una y otra vez «¿por qué?» hasta que el sujeto se rendía (ibídem):

«El resultado inesperado de este experimento informal fue que las personas se daban por vencidas realmente muy rápido –respondían una o dos preguntas antes de llegar a un fallo en su conocimiento–. Más sorprendentes todavían eran sus reacciones cuando descubrían que de hecho no sabían algo.

Rozenblit estudió esta ilusión de conocimiento con más de una docena de experimentos durante los años siguientes, en los que hizo pruebas a personas de todas las profesiones y condiciones sociales [...], y los resultados fueron notablemente consistentes. No importa a quién se interrogue, siempre se llega a un punto en el que ya no se puede responder a algún porqué. Para la mayoría de nosotros, nuestro nivel de comprensión es tan superficial que podemos agotarlo después de la primera pregunta. Sabemos que hay una respuesta, y sentimos que la sabemos, pero parecemos no darnos cuenta de los errores de nuestro propio conocimiento.»

Dicen los autores antes mencionados que todos caemos presas de esta ilusión porque simplemente no reconocemos la necesidad de cuestionar nuestro propio conocimiento. Lo cierto es que son pocas las ocasiones en que nos molestamos en ponerlo a prueba. En mi caso, por ejemplo, y dada la naturaleza de mi trabajo, una de dichas escasas situaciones son las entrevistas de empleo (lo que es, a su vez, uno de los peores momentos para darse cuenta de que no sabemos la respuesta). También tengo una compañera que es como una niña pequeña y no para de preguntarme por qué sé lo que sé. Fuera del trabajo lo más parecido a una búsqueda del porqué es la búsqueda de referencias para los artículos de este blog. Al margen de esos casos concretos yo tampoco tengo por costumbre aplicar la duda cartesiana sobre todo lo que sé.

Al igual que no solemos examinar la profundidad de nuestra competencia tampoco es habitual que dudemos de la exactitud, actualidad o veracidad de nuestro saber teórico (lo cual es un tanto paradójico, ya que los errores pueden costarnos la salud o nuestro dinero). Considere la siguiente pregunta: ¿qué tiene más cafeína, el té o el café? Independientemente de la respuesta que haya dado ¿cómo lo sabe? ¿Recuerda la fuente donde lo leyó, o la persona que se lo dijo? Si se lo dijo alguien que no era una autoridad en la materia ¿comprobó si era cierto? Eso es algo que a menudo no hacemos cuando hablamos con alguien de un tema que desconocemos: simplemente damos por bueno el conocimiento del otro, aún cuando no sea un experto y no sepamos si lo ha obtenido de una fuente fiable. Esa es, supongo, una de las razones por las que perduran las leyendas urbanas, los mitos, las ideas falsas y los conceptos erróneos. Debido a ello albergamos y diseminamos multitud de creencias erróneas sobre los más diversos temas –algunas más absurdas que otras–, como esa sandez de que solo utilizamos un diez por ciento del cerebro.

La respuesta a la pregunta de la cafeína, por cierto, tiene un poco de truco. Tal como explica Anahad O'Connor, depende de si estamos considerando una cantidad determinada de materia prima o una taza de infusión:

«En comparación, el té tiene más cafeína que el café. Pero mientras que con cien gramos de hojas de té se obtienen cientos de tazas, con la misma cantidad de café se obtienen muchas menos tazas de café, lo cual hace de éste un estimulante muchísimo más potente.
Según la mezcla de hojas de té, su tipo y el tiempo de la infusión, una taza de té de 200 mililitros puede contener de 20 a 90 miligramos de cafeína, mientras que una taza de café del mismo tamaño, de 60 a 180.»

Esta semana he podido asistir a una masiva demostración de la ilusión de conocimiento gracias al bug bautizado como Heartbleed. A pesar de trabajar en el sector y formar parte de la industria que se dedica a desplegar medidas para mitigar este tipo de errores, muy pocos compañeros podían explicar en qué consistía exactamente y por qué era tan serio; incluso mi jefe tuvo que pedir ayuda para poder responder a las preguntas de los periodistas. A menudo es necesario un periodista, un niño pequeño, una entrevista de trabajo, un examen o una partida de Triviados para darnos cuenta de lo poco que sabemos en realidad.

Lo que ves es todo lo que hay (II)

Probablemente conozcan alguna variante de la siguiente historia:

Un hombre lleva su lujoso coche al taller porque hace un ruido raro. El mecánico revisa el motor, saca un pequeño destornillador del bolsillo y da vuelta y media a un minúsculo tornillo. Entonces arranca el coche y comprueba que el ruido ha desaparecido. El cliente se dispone a pagar la cuenta:

- ¿Cuánto le debo?
- Son cien euros.
- ¿Cien euros por apretar un simple tornillito?
- Es que usted no me paga por apretar un tornillo, sino por saber qué tornillo apretar.

Foto de notsogoodphotography

Pocos nos sentiríamos cómodos abonando los cien euros en una situación así. Sin embargo, el asunto sería distinto si hubiéramos visto al mecánico bregar durante una hora con el coche, sudando y manchándose de grasa, tirándose por el suelo para revisarlo desde todos los ángulos. En ese caso la factura sonaría más razonable, lo cual es paradójico, ya que cuando llevamos el coche a reparar una de las cosas que más nos interesa es que tarden lo menos posible.

No nos gusta pagar por la experiencia en parte porque no la vemos. No estábamos al lado del mecánico durante sus horas de aprendizaje, ni le acompañamos cada uno de los días anteriores en los que acumuló el conocimiento suficiente para solventar nuestro problema en menos de un minuto. En lugar de eso nos quedamos con lo que vemos –ha apretado un tornillo– y lo usamos para calcular cuánto debería costarnos. Igual que los políticos que calibran la salud económica de un país basándose en el PIB nosotros utilizamos un indicador secundario (el tiempo empleado) para determinar el precio justo. Dan Ariely llevó a cabo un par de experimentos sobre esto y llegó a una lamentable conclusión (el énfasis es mío):

«We asked people how much they would pay us to recover information from their hard drive, and we asked them to think about losing one day of information, one week of information, two weeks, four weeks, three months, six months, a year of data. So, lots of different amounts of data they lost. And you know what? People in general were willing to play more money for more data recovery. That's good news. But you know what people really cared about? Was how long the technician worked on it. If the technician worked for five minutes to recover the data, they were not willing to pay so much. If the technician was working for a day, much more; for a week, much more. So, in a sense what we're doing is we're paying for incompetence.»

Muchos de nosotros nos encontramos en la misma situación que el mecánico. Si trabajan en una oficina sabrán a qué me refiero, especialmente si dicha oficina está en España. Por desgracia en este país se estila mucho el estar por estar. Si alguien se va temprano a casa no se le suele considerar un trabajador cualificado y eficiente, sino falto de compromiso o, directamente, un vago. Por eso todos tenemos compañeros que sistemáticamente se quedan largas horas a calentar la silla, leyendo el periódico por internet o tratando asuntos personales hasta que se va el jefe. Lo cierto es que tiene algo de sentido: para un jefe es difícil evaluar cómo de bueno es su subordinado en trabajos técnicos o que requieran creatividad, imaginación o capacidad para resolver problemas. Por contra, es muy fácil contar las horas que está en su mesa. De nuevo se sustituye una pregunta difícil por una más fácil que se puede responder con lo que es fácil de ver. Tal como explica Ariely:

«If you worked in such a place, you would want your managers to know how good you are—but if they couldn’t directly see your quality, what would you do? Working many hours and telling everyone about it might be the best way to give your employer a sense of your commitment—which they might even confuse with your quality.
This is a general tendency. Every time we can’t evaluate the real thing we are interested in, we find something easy to evaluate and make an inference based on it. I often hear people complain, for example, about the cleanliness of airplane bathrooms. The reality is that we don’t really care about the bathrooms—what we should all care about is the functioning of the engines. But engines are hard to evaluate, so we focus on the bathrooms. Maybe people reason that if the airline is taking care of the bathrooms, it is probably taking care of the engines a well.»

Para terminar de empeorar la situación mostramos una confianza desmedida en las conclusiones a las que llegamos mediante indicadores secundarios. Kahneman lo llama «ilusión de validez» (énfasis mío):

«Because of WYSIATI, only the evidence at hand counts. Because of confidence by coherence, the subjective confidence we have in our opinions reflects the coherence of the story that System 1 and System 2 have constructed. The amount of evidence and its quality do not count for much, because poor evidence can make a very good story. For some of our most important beliefs we have no evidence at all, except that people we love and trust hold these beliefs. Considering how little we know, the confidence we have in our beliefs is preposterous—and it is also essential.»

Y así, como decía Mary Warnock que le ocurría, profesamos nuestras creencias porque no pudimos encontrar otras.

Eternos aprendices

Supongo que llegará el día en el que finalmente cancelen Los Simpson. Es posible que en España ese hecho pase desapercibido, habida cuenta de las sempiternas emisiones de sus capítulos en Antena 3 (y ahora también Neox). Estoy convencido de que el día del Juicio Final se podrá oír de fondo la canción que abre cada capítulo.

Me sentí un poco identificado con Lisa cuando, en el episodio EABF11 (Perdonad Si Añoro El Cielo, S16E14), un director de documentales se mete con ella por la diversidad de sus intereses:

«- Lisa: Entre mis aficiones están la música, la ciencia, la justicia, los animales, la moral, los sentimientos...
- Director: O sea que te consideras una intelectual tipo buffet que picotea y picotea para llegar a ser una simple directora de biblioteca a los 38 años. [...] Lisa, me temo que eres una diletante. Elige un camino y síguelo.»

Imagen de teamstickergiant

Precisamente esa mañana había estado hablando con Invisible Kid sobre lo que implica querer aprender varias cosas muy distintas. Él se quejaba de que «al final, no eres un crack en nada». Su frase encierra ese lamento expresado por el refrán «aprendiz de todo, maestro de nada», que suele usarse en sentido peyorativo.

Ya he comentado el problema que supone actualmente la cantidad de conocimiento acumulado. Si quieres destacar, es necesario ser un especialista dentro de una especialidad, y cada vez hay más distancia entre las especialidades. Parece difícil poder completar las conocidas 10.000 horas necesarias para alcanzar la maestría en más de una cosa.

Como Lisa, a mí también me gusta picotear intelectualmente. Si pudiera pedirle un deseo al genio de la lámpara, sin duda sería el poder saberlo todo:

«[T]here’s an African folktale I think is relevant here. Once upon a time, there’s this tortoise who steals a gourd that contains all the knowledge of the world. He hangs it around his neck. When he comes to a tree trunk lying across road, he can’t climb over it because the gourd is in his way. He’s in such a hurry to get home, he smashes the gourd. And ever since, wisdom has been scattered across the world in tiny pieces. So, I want to try to gather all that wisdom and put it together.»

Desde mi punto de vista, ser aprendiz de todo tiene muchas ventajas. Es cierto que, a veces, no saber nada de algo es mejor que tener un conocimiento incompleto. Y sí, puede que diluyendo tu esfuerzo no pases de mediocre:

«One should waste as little effort as possible on improving areas of low competence. It takes far more energy and work to improve from incompetence to mediocrity than it takes to improve from first-rate to excellence.»

Pero, por muy bien que se te dé algo, es probable que haya un montón de personas que sean mejores que tú. Ser un experto no es ninguna panacea. Uno puede desperdiciar el propio talento siguiendo un camino improductivo, como la videncia o la homeopatía (Newton dedicó gran cantidad de tiempo al estudio de la Biblia y de la alquimia). Si tu trabajo pasa de moda, estás jodido. Es arriesgado jugárselo todo a una carta. Personalmente, no quiero ser uno de los que queman telares porque lo único que saben hacer es hilar manualmente el algodón.

Una de las ventajas más importantes que tiene la amplitud de intereses es poder enfocar los problemas con perspectivas muy diferentes. En ocasiones el error humano se debe a la aplicación de un remedio conocido a una situación no porque sea el adecuado, sino porque es la única forma de actuar que conocemos. Cuando uno solo tiene un martillo, todos los problemas le parecen clavos.

Y luego está el cerebro. Creo que muchos tratan a dicho órgano como tratan a sus móviles: tienen un cacharro capaz de hacer cantidad de cosas, con un montón de funciones, pero al final solo usan unas pocas, siempre las mismas. Cuanto más aprendemos más neuronas se activan y más conexiones entre ellas se establecen. Eso retrasa el envejecimiento mental y nos mantiene cognitivamente en forma. Cuida tu cerebro y tu cerebro cuidará de ti.