Mostrando entradas con la etiqueta bayes. Mostrar todas las entradas
Mostrando entradas con la etiqueta bayes. Mostrar todas las entradas

lunes, 18 de mayo de 2015

La Roca (y II)

Política y economía son dos arenas especialmente propicias para ser defendidas por nuestro sistema de creencias. Incluso aunque se analicen todos los datos disponibles siempre cabe modificar ligeramente la pregunta o las definiciones de partida, entrar en detalles o matizar los fines para dar cabida a refutaciones, terreno fértil para los defensores de la construcción social del conocimiento. Además, es imposible separar de ambas la parte moral y resolverlas como problemas técnicos (los intentos de la era de los cincuenta de resolver la economía a base de ecuaciones y teoremas se antojan similares a aquellos que tuvieron lugar en los siglos XVIII y XIX destinados a resolver «la política»). En mi humilde opinión, es imposible proclamar que uno posee la certeza absoluta económica o política porque dispone de eso que llaman «la evidencia». Aceptemos pues –aunque sea a regañadientes– que en estas cuestiones las personas siempre defenderemos nuestras creencias frente a los hechos y sigamos adelante, preguntándonos ahora: ¿cómo de buenos (o malos) bayesianos somos en áreas más asépticas, allí donde la identidad social y la imagen propia no son cuestionadas?

Quizá recuerden algunos casos que ya mencionamos en historia de la ciencia en los que científicos de renombre dieron la espalda a los hechos: el físico Fred Hoyle rechazando la teoría del Big Bang y Ronald Fisher rebatiendo la correlación entre el tabaco y el cáncer. Claro que Hoyle y Fisher eran gigantes en sus respectivos campos de conocimiento y, como tales, podían usar su inteligencia y conocimientos para sembrar la duda razonable. Caso muy distinto es el de Enriqueta y Teleforo, padres primerizos que deciden no vacunar a su prole porque creen que las vacunas producen autismo.

Mucho se ha escrito este año sobre las vacunas, especialmente en medios anglosajones, ya que en Estados Unidos y el Reino Unido el número de progenitores que se niegan a inmunizar a sus hijos parece haber crecido bastante. Como seguramente ya sabrán, el movimiento antivacunas nació en 1998 cuando el médico británico Andrew Wakefield publicó en The Lancet los resultados de un estudio según el cual la administración de la vacuna triple vírica provocaba autismo. Todas las investigaciones posteriores han refutado tal asociación y Wakefield fue despojado de su licencia médica acusado de fraude, a pesar de lo cual poco más de la mitad de los estadounidenses consideran las vacunas seguras. ¿El resultado? Seiscientos cuarenta y cuatro casos nuevos de sarampión en Estados Unidos el año pasado, el triple que el año con más casos que le sigue en la serie.

Una cosa está clara de los antivacunas: si supieran quién fue Thomas Bayes y dónde está enterrado, viajarían hasta allí para mear sobre su tumba. Recuerden que, según este teorema, cuando uno conoce nuevos datos debe ajustar su creencia en la hipótesis en una cantidad que se puede calcular matemáticamente. Pues bien, ¿qué ocurre cuando a los antivacunas se les presentan pruebas de la seguridad y los beneficios de la inmunización? Que disminuye aún más su intención de vacunar a sus hijos:

The researchers showed participants information from the Center for Disease Control (CDC), which was designed to debunk the myth that the flu vaccine can give you flu. This resulted in a fall in people's false beliefs but, among those concerned with vaccine side-effects, it also resulted in a paradoxical decline in their intentions to actually get vaccinated, from 46 per cent to 28 per cent. The intervention had no effect on intentions to get vaccinated amongst people who didn't have high levels of concerns about vaccine side effects in the first place.
[...] This is not the first time that vaccine safety information has been found to backfire. Last year the same team of researchers conducted a randomised controlled trial comparing messages from the CDC aiming to promote the measles, mumps and rubella (MMR) vaccine. The researchers found that debunking myths about MMR and autism had a similarly counterproductive result - reducing some false beliefs but also ironically reducing intentions to vaccinate.
Por lo visto, enfrentar a una persona con los datos puede hacer que el tiro nos salga por la culata. Lo paradójico es que la probabilidad de vacunación descendió aun cuando los sujetos sí corrigieron parcialmente sus falsas creencias sobre las vacunas.

Al parecer, el teorema de Bayes solo puede funcionar en ordenadores, no en cerebros humanos. Las personas aplicamos el razonamiento motivado en todas las esferas de la vida; allí donde nos lleven la contraria activaremos nuestras defensas. Brendan Nyhan es un profesor de Darmouth especializado en el estudio de las percepciones erróneas en política y sanidad. Es también coautor del estudio citado anteriormente. Según él, no hay ninguna diferencia en la forma en que las personas razonamos acerca de las vacunas, los edulcorantes, la política, el gazpacho o cualquier otra controversia:

People feel passionately, they are not inclined to hear contradictory messages, and there are all sorts of myths circulating. The way people reason about vaccines, it's the same as the way people reason about other controversial topics.
La manera en que razonamos sobre asuntos polémicos es fácil de describir: cuando los datos nos dan la razón, invocamos la evidencia; cuando contradicen nuestra postura, en lugar de rectificar les damos la espalda y salimos corriendo:

[R]esearch suggests that the mere prospect of a factual threat leads us to downplay how much our belief depends on such evidence at all. We become attracted to other, less falsifiable reasons for believing.
[...] When the facts were on their side, they rated the issues [...] as a matter for evidence to decide; when the facts were against them, they saw it as more a matter of opinion.
Es decir, intentamos escapar del territorio de los hechos para adentrarnos en el de las creencias y las opiniones, allí donde no hay fundamentaciones últimas y, por tanto, es mucho más fácil hacerse fuerte frente al contrario, evitando de ese modo llegar a conclusiones no deseadas (el énfasis es mío):

Of course, sometimes people just dispute the validity of specific facts. But we find that people sometimes go one step further and [...] they reframe an issue in untestable ways. This makes potential important facts and science ultimately irrelevant to the issue.
[...] [W]hen people’s beliefs are threatened, they often take flight to a land where facts do not matter. In scientific terms, their beliefs become less “falsifiable” because they can no longer be tested scientifically for verification or refutation.
Valve, la empresa de desarrollo de videojuegos, pone a disposición de sus nuevos empleados una guía en la que se explica, entre otras cosas, cómo está organizada la empresa y qué se espera de los trabajadores. Bajo el epígrafe What if I screw up? hablan de los errores y sus consecuencias, de la forma correcta y la incorrecta de equivocarse, y de cómo actuar en caso de meter la pata. Termina esta sección con una frase que se me ha quedado grabada y por la que todos –no solo los empleados de Valve– deberíamos regirnos:

Never ignore the evidence; particularly when it says you’re wrong.
Pero, como ya saben, no vivimos en deberialandia, y esconder los hechos incómodos es una tentación demasiado grande. Hete aquí una imagen que apareció en Reddit en relación con cierta polémica en torno al juego The Elder Scrolls V: Skyrim desarrollado por la casa (clic para ampliar):


Al parecer, algún empleado no se leyó esa parte de la guía y decidió que lo mejor era eliminar de la imagen la calificación tan negativa que los jugadores habían otorgado en su descontento por las decisiones de la empresa. Oh, the irony!

lunes, 11 de mayo de 2015

La Roca (I)

When my information changes, I alter my conclusions. What do you do, sir?
–John Maynard Keynes


Como ejemplo de ese debate político de apariencia racional pero con fondo emotivista en el que todos nos hayamos envueltos, en el verano de 2014 se publicó un manifiesto titulado Última llamada que sostenía que nos hallamos inmersos en una crisis de civilización. Dicho manifiesto fue criticado por gente de Politikon en estos términos (el énfasis es mío):

[C]onstruye una madeja de declaraciones altisonantes y maximalistas que ni se apoyan en argumentos racionales ni se soportan en datos; o, lo que es peor, con frecuencia van contra la evidencia de que disponemos.
La queja aquí es un clásico desde la Ilustración. Se supone que ya no vivimos en un tiempo dominado por grandes teorías desarrolladas por autoridades como Aristóteles cuya veracidad se asume cual dogma de fe, sino que disponemos de la ciencia para alcanzar la verdad. Ya no es necesario elucubrar; tenemos datos y pruebas que nos dicen lo que hay y lo que es, y obviar o contradecir dichas pruebas es propio de gente irracional, ignorantes o arteros prosélitos tratando de imponer su agenda ideológica.

Tiempo después David Ruiz publicó un artículo en el que mostraba otros datos que contradecían la evidencia aportada por la gente de Politikon. Les recomiendo el artículo de Ruiz porque demuestra lo fácil que es encontrar para cada «prueba» su contraria, y cómo esto de recabar evidencias se parece mucho a ir a recoger frutos silvestres, donde uno elige los que le parecen más apetitosos y deja el resto ocultos en la mata. Es un fenómeno especialmente notable en eso de la economía, donde –sin importar la ideología del economista de turno– se topa uno con largas listas de estudios que «prueban» las tesis del autor y echan por tierra las del contrario. Los psicólogos tienen un término propio para eso que los ingleses llaman cherry picking:

Psychologists now have file cabinets full of findings on “motivated reasoning,” showing the many tricks people use to reach the conclusions they want to reach. When subjects are told that an intelligence test gave them a low score, they choose to read articles criticizing (rather than supporting) the validity of IQ tests. When people read a (fictitious) scientific study that reports a link between caffeine consumption and breast cancer, women who are heavy coffee drinkers find more flaws in the study than do men and less caffeinated women. Pete Ditto, at the University of California at Irvine, asked subjects to lick a strip of paper to determine whether they have a serious enzyme deficiency. He found that people wait longer for the paper to change color (which it never does) when a color change is desirable than when it indicates a deficiency, and those who get the undesirable prognosis find more reasons why the test might not be accurate (for example, “My mouth was unusually dry today”).

Foto de Dave Sutherland

Solemos pensar que si alguien sostiene una tesis y le enseñamos pruebas en contra entonces esa persona debería cambiar de parecer. Asumimos también que cuantas más pruebas aportemos más razones tiene para abandonar su posición, y que no hacerlo es irracional. Es decir, damos por sentado que las personas seguimos un proceso de aprendizaje bayesiano. En la década de los cincuenta, Ward Edwards concluyó que los humanos somos «aproximadamente bayesianos». Los modelos formales asumen que ajustar nuestras creencias es algo que tiene lugar sin problemas. ¿Cómo de buenos (o malos) bayesianos somos realmente? ¿En qué grado ajustamos nuestras creencias según las pruebas?

Voy a ahorrarles el suspense: los humanos nos resistimos a actualizar nuestras creencias, sobre todo cuando las pruebas que evaluamos contradicen lo que pensamos. Décadas de investigaciones posteriores a Edwards de la mano de Kahneman y Tversky nos han mostrado que, de hecho, las personas no pensamos de forma bayesiana. Como explica Philip Tetlock:

Decades of laboratory research on “cognitive conservatism” warn us that even highly educated people tend to be balky belief updaters who admit mistakes grudgingly and defend their prior positions tenaciously.
Y en la nota al pie continúa:

Some researchers have concluded that people are such bad Bayesians that they are not Bayesians at all (Fischhoff and Beyth-Marom, “Hypothesis Evaluation from a Bayesian Perspective”). Early work on cognitive conservatism showed that people clung too long to the only information they initially had—information that typically took the form of base rates of variously colored poker chips that defined judges’ “priors.”
Tetlock cuantificó este «déficit bayesiano» en su célebre estudio sobre los expertos. Cuando erraban en su respuesta, los sujetos de estudio ajustaban sus creencias a la luz de nuevas pruebas en un grado bastante inferior al que prescribe la regla de Bayes, entre un diecinueve y un cincuenta y nueve por ciento de lo que deberían. Por contra, allí donde habían acertado el ajuste de creencia se situaba entre el sesenta y el ochenta por ciento del que debería ser.

El experimento de Tetlock consistió en pedir a doscientos ochenta y cuatro expertos que hicieran predicciones sobre una variedad de escenarios políticos: la URSS, la Unión Europea, la primera Guerra del Golfo, Yugoslavia, Sudáfrica y muchos otros. Años después evaluó el nivel de acierto de las predicciones. En conjunto, los expertos no lo hicieron mejor que un grupo de chimpancés lanzando dardos a una diana.

Es interesante ver cómo se defendieron estos expertos cuando tuvieron que confrontar sus fallos. Puede que las personas seamos idiotas, pero no queremos aparentarlo. Por fortuna, contamos con una poderosa máquina generadora de justificaciones a la que podemos recurrir para lavar nuestra imagen y seguir en nuestros trece. Todos tenemos a nuestra disposición un elaborado sistema de defensas para nuestras creencias, y ya vimos que las personas inteligentes están acostumbradas a usar su intelecto para proteger creencias poco inteligentes. En el caso de los expertos, algunas de estas justificaciones fueron el «casi acierto» («lo que predije no pasó, pero casi ocurre»), el «acabará pasando» («lo que yo predije acabará teniendo lugar, solo hay que esperar»), el «ocurrió algo inesperado» («de no haber sucedido aquel hecho improbable yo habría acertado») y el siempre útil «es complicado» («es imposible predecir el futuro»). En ausencia de contrafactuales, algunas de estas defensas ahondan en oscuras cuestiones epistemológicas y tienen cierta solidez filosófica, por lo que no son fácilmente descartables como simples excusas.

Continuará