Normas (I)

En el artículo de la semana pasada hablamos de cómo los incentivos individuales en el lugar de trabajo pueden llevar a los trabajadores a apuñalarse por la espalda, lo cual me recordó un pasaje de la serie Alatriste. En El oro del Rey, el capitán Alatriste es el jefe de una cuadrilla de mercenarios a los que se les ha encargado capturar un barco cargado de oro. Al aceptar el encargo cada espadachín ya ha cobrado una parte del pago total; el resto se pagará una vez terminado el trabajo. Llegado el momento de la acción uno de los mesnaderos pregunta a Alatriste:

—¿Y si hay muertos? —el Bravo de los Galeones sonreía con su cara acuchillada—… ¿Se cobra suma fija, o repartimos al final?
—Ya veremos.
El jaque observó a sus camaradas y después acentuó la sonrisa.
—Sería bueno verlo ahora —dijo con mala fe.
Alatriste se quitó con mucha pausa el sombrero, pasándose una mano por el pelo. Luego se lo puso de nuevo. La forma en que miraba al otro no daba lugar al menor equívoco.
—¿Bueno, para quién?
Había hablado arrastrando las palabras y en voz muy baja; con una consideración en la que ni un niño de teta habría confiado lo más mínimo. Tampoco el Bravo de los Galeones, pues captó el mensaje, apartó la vista, y no dijo más.

La razón que me lleva a citar este pasaje no es tanto la literalidad de las puñaladas como la solución del capitán: mantener a la cuadrilla en un estado de incertidumbre no fijando las normas de antemano.

Foto de andrew

Hay quien consideraría injusta la posición de Alatriste. En el idioma inglés existe la expresión «moving the goalposts» o «shifting the goalpost», una metáfora deportiva que significa cambiar de criterio de tal manera que se cobre ventaja. Es una expresión que existe literalmente en los patios de los colegios donde se juega al fútbol sin portería y, por lo tanto, no se sabe a ciencia cierta si un disparo alto ha sido gol o no. Cuando yo era pequeño siempre había algún portero listillo que se agachaba o encogía y gritaba «¡alta!» para tratar de convencer al equipo contrario de que el balón no había entrado en la portería imaginaria. En aquellos partidos la altura del larguero oscilaba más que la cotización del bitcoin.

Para el economista y filósofo Friedrich Hayek no mover los postes era un elemento clave del estado de derecho. Hablando de la función del Estado en su conocida obra Camino de Servidumbre, Hayek sostuvo que lo justo es que haya unas reglas del juego conocidas dentro de las cuales cada cual pueda satisfacer sus deseos libremente. Además, las reglas no pueden cambiar en largos periodos de tiempo, de manera que cada individuo pueda planificar sus proyectos de vida y saber a qué atenerse (énfasis en el original):

Las normas formales indican de antemano a la gente cuál será la conducta del Estado en cierta clase de situaciones, definidas en términos generales, sin referencia al tiempo, al lugar o a alguien en particular. Atañen a situaciones típicas en que todos pueden hallarse, y en las cuales la existencia de estas normas será útil para una gran variedad de propósitos individuales. El conocimiento de que en tales situaciones el Estado actuará de una manera definida o exigirá que la gente se comporte de un cierto modo es aportado como un medio que la gente puede utilizar al hacer sus propios planes. Las normas formales son así simples instrumentos, en el sentido de proyectarse para que sean útiles a personas anónimas, a los fines para los que estas personas decidan usarlos y en circunstancias que no pueden preverse con detalle. De hecho, el que no conozcamos sus efectos concretos, que no conozcamos a qué fines particulares ayudarán estas normas o a qué individuos en particular asistirán, el que reciban simplemente la forma en que es más probable que beneficien a todas las personas afectadas por ellas, todo esto constituye la cualidad más importante de las normas formales, en el sentido que aquí hemos dado a esta expresión. No envuelven una elección entre fines particulares o individuos determinados, precisamente porque no podemos conocer de antemano por quién y de qué manera serán usadas.

De acuerdo con Hayek una de las ventajas de este principio es la imparcialidad. Esto es evidente en el caso mencionado de los partidos de fútbol, donde contar con porterías y líneas de campo bien definidas evita valoraciones subjetivas, y ya sabemos que allí donde se depende de un juicio subjetivo (en la interpretación de las leyes, en la aplicación de un reglamento) siempre hay lugar para sesgos, favoritismos, prevaricación y demás. En política, el doble rasero está a la orden del día.

Sin embargo, ¿es cierta la tesis de Hayek según la cual no podemos conocer de antemano por quién y de qué manera se usarán las normas? ¿Hasta qué punto es cierto que no conocemos sus efectos concretos, o a qué fines o individuos particulares beneficiarán más las reglas que determinemos? Consideremos de nuevo el relato de Alatriste. Si acabada la misión se reparte el botín restante entre los supervivientes entonces los «trabajadores» tienen un claro incentivo para matar a sus compañeros en mitad de la refriega.

Pero supongamos, por mor del argumento, que hemos de acordar un reglamento y que, efectivamente, desconocemos qué efectos concretos tendrán. Las seguimos y vemos que acaban por favorecer siempre a los mismos. En situaciones así, la inmutabilidad de las reglas ¿acaso no supone perseverar en el error?

Hace mucho tiempo supe a través de un documental que el célebre ajedrecista Bobby Fischer propuso cambiar las reglas del ajedrez. En la década de los noventa proclamó que el ajedrez moderno se había convertido en un ejercicio de memorización, principalmente acerca de las aperturas, y que por eso los ordenadores podían jugar tan bien. Él quería cambiar eso y obligar a los jugadores a depender de su creatividad y su talento para ganar, en lugar de basar su juego en jugadas memorizadas y patrones conocidos. Con ese fin, propuso que las piezas de la primera fila fueran distribuidas aleatoriamente en cada partida, un modo de juego que hoy se conoce como ajedrez 960 o ajedrez aleatorio de Fischer. Según él, eso haría que los oponentes estuvieran más igualados.

Sin embargo, hoy sabemos que la aleatoriedad en la posición de partida significa que la ventaja con la que cuenta el jugador con piezas blancas es aún mayor comparada con el ajedrez tradicional. Las probabilidades de ganar antes de empezar la partida son, a menudo, asimétricas. Además, es difícil mejorar aprendiendo de los errores porque es posible que una configuración de tablero dada no vuelva a repetirse. Finalmente, este sistema desconcierta más a los humanos que a las máquinas, por lo que los programas de ajedrez dominan esta versión con más desahogo.

Quizá no hayan sabido de esta versión de ajedrez hasta ahora pero lo cierto es que existe un campeonato del mundo de ajedrez 960. No obstante, es evidente que su popularidad no está cerca de la del ajedrez tradicional. Opino que parte de la culpa lo tiene nuestra aversión a lo azaroso, y que otra parte de la explicación se debe a qué entendemos por normas justas.

Continuará.

Luditas 2.0

Imaginen que tienen un problema de salud y reciben dos diagnósticos, uno de ellos realizado por un doctor de carne y hueso y el otro por un programa de ordenador. Los diagnósticos no coinciden y los tratamientos son totalmente diferentes. ¿Con cuál se quedarían?

El diagnóstico médico parece un problema demasiado complejo como para que una máquina pueda resolverlo. Sirvan como muestra las palabras del cirujano Atul Gawande:

La mayoría de los facultativos cree que el diagnóstico no puede reducirse a una serie de generalizaciones, a un «libro de recetas de cocina», como dicen algunos. Argumentan que deben tenerse en cuenta las características de cada paciente.

Esto es algo obvio. Cuando soy el especialista de cirugía en la unidad de urgencias, me suelen pedir que evalúe si un paciente con dolor abdominal tiene apendicitis. Escucho con atención su historia y considero multitud de factores: cómo noto su abdomen, el tipo de dolor y su localización, la temperatura del paciente, el apetito, los análisis. Pero no lo reduzco todo en una fórmula y calculo el resultado. Utilizo mi criterio clínico, mi intuición para decidir si hay que operarle, tenerle en el hospital en observación o enviarle a casa.

Y así, concluye:

Ninguna fórmula puede tener en cuenta la infinita variedad de sucesos excepcionales que pueden darse. Éste es el motivo por el que los médicos están convencidos de que es mejor mantenerse fial a sus instintos a la hora de realizar un diagnóstico.

En este mismo sentido, existen médicos que se muestran cautelosos cuando se trata de aplicar la medicina basada en pruebas, la cual, por su propia naturaleza, está basada en la estadística:

Las estadísticas no pueden sustituir al ser humano que uno tiene delante; las estadísticas se refieren a una media, no a los individuos. Los números sólo pueden complementar la experiencia personal del médico con un fármaco o un procedimiento, así como su conocimiento sobre si un tratamiento «mejor» de un ensayo clínico convendría a las necesidades y características especiales de un paciente.

También cabe argumentar que los métodos matemáticos no son útiles en casos fuera de lo normal:

Los algoritmos clínicos pueden ser útiles para diagnósticos y tratamientos corrientes, por ejemplo, distinguir la infección de garganta por estreptococos de la faringitis viral. Sin embargo, se desmoronan rápidamente cuando un médico necesita pensar más allá de los recuadros, cuando los síntomas son vagos, o múltiples y confusos, o cuando los resultados de las pruebas son inexactos. En esos casos –aquellos donde más falta hace un médico con capacidad de discernimiento– los algoritmos impiden a los médicos pensar con independencia y creatividad. En lugar de expandir el pensamiento de un médico, acaban por limitarlo.

Finalmente, es posible que Deep Blue batiera a Kasparov, pero el diagnóstico clínico no es un juego de reglas fijas:

[El ajedrez] es un juego complejo, pero es bidimensional y está basado en reglas fijas y claras, con piezas que nunca varían. El diagnóstico de pacientes por el contrario, tiene cuatro dimensiones (reúne las tres dimensiones espaciales y la cuarta dimensión del tiempo), no tiene reglas invariables e implica «piezas» (cuerpos) que no son iguales.

Imagen de 219Eastern

Todos estos razonamientos tan convincentes asoman la cabeza cada vez que un algoritmo rinde mejor que los expertos de carne y hueso. Los resultados de Paul Meehl sobre la superioridad de los algoritmos frente a los humanos en el diagnóstico clínico fueron recibidos con hostilidad e incredulidad. El método estadístico era criticado como mecánico, artificial, irreal, arbitrario, incompleto, estéril y otras lindeces por el estilo. Los sumillers rechazaron la fórmula de Ashenfelter bajo la premisa de que sus conclusiones eran ridículas y absurdas, pues juzgar un vino sin probarlo era como calificar una película sin haberla visto. Los ojeadores y los entrenadores deportivos siguen confiando en su instinto. Y así un largo etcétera, a pesar de las pruebas que sustentan la superioridad de los métodos matemáticos.

Sospecho que cualquier persona que se enfrente al hecho de que parte de su trabajo puede hacerlo mejor una inteligencia artificial mostraría el mismo rechazo. Para un profesional especializado, alguien consciente de toda la complejidad, los matices y las posibilidades de su campo de conocimiento es difícil asumir que todo eso pueda reducirse a una simple ecuación. Pero, como vimos en el artículo anterior, la complejidad no solo no da ventaja al experto frente al algoritmo, sino que es precisamente la causa del error humano. Por muy razonables que suenen su argumentos en contra, en la práctica lo más frecuente es que una simple combinación de factores con los pesos adecuados supere al juicio de un experto.

Si bien es la complejidad lo que lleva a los expertos a equivocarse normalmente, lo cierto es que en raras ocasiones dicha complejidad sí que cuenta. Supongan, verbigracia, que una fórmula predice que Cristiano Ronaldo marcará dos goles en el próximo partido. Supongan, además, que la fórmula es fiable al noventa y nueve por ciento. Entran en un portal de apuestas por internet para ganarse un dinerito extra con dicha información y ahí, en la sección de noticias, se encuentran con el siguiente titular: «Cristiano Ronaldo sufre una rotura de ligamentos en su rodilla y será baja durante tres semanas». ¿Procederían con su apuesta? Obviamente no. Si Ronaldo no puede jugar, da igual lo que diga la fórmula. Este supuesto se conoce como «el problema de la pierna rota»:

To cede complete decision-making power to lock up a human to a statistical algorithm is in many ways unthinkable. Complete deference to statistical prediction in this or other contexts would almost certainly lead to the odd decision that at times we “know” is going to be wrong. Indeed, Paul Meehl long ago worried about the “case of the broken leg.”
[...] A statistical procedure cannot estimate the causal impact of rare events (like broken legs) because there simply aren’t enough data concerning them to make a credible estimate. The rarity of the event doesn’t mean that it will not have a big impact when the event does in fact occur. It just means that statistical formulas will not be able to capture the impact.

Evidentemente, en estas situaciones el algoritmo no sirve de nada. Pero no hemos de olvidar que estos casos son, por definición, infrecuentes (si no lo fueran, estarían contemplados en la fórmula). Por tanto, otorgan un escaso margen de ventaja. En cualquier caso, las observaciones atípicas también pueden dar ventaja a un sistema experto digital en lugar de a un médico. Una base de datos puede almacenar información sobre todas las enfermedades conocidas y sus síntomas, así como recuperar dicha información en segundos. Por contra, un galeno no puede saberlo todo. Cuando una enfermedad es poco común, no es sorprendente que se pase por alto y el diagnóstico sea equivocado. Lisa Sanders cuenta la historia de cómo un médico pudo diagnosticar correctamente y salvar la vida a una paciente aquejada de una rara enfermedad africana gracias a un sistema experto sobre enfermedades infecciosas llamado GIDEON. De no haber sido por este sistema el médico no habría podido dar con el medicamento necesario para combatir la infección.

Tal vez estén pensando que la solución ideal consista en mezclar ambos mundos. Si combinamos expertos y algoritmos ¿obtendremos mejores resultados? De acuerdo con Ian Ayres, por lo general las personas hacen mejores predicciones cuando se les informa de los resultados de una predicción estadística. Sin embargo, incluso con esa ayuda sus predicciones son peores que las del modelo matemático a solas. Cuando el humano y la máquina no están de acuerdo, usualmente es mejor atenerse a la decisión de la predicción estadística.

¿Y si limitamos la intervención humana a identificar los casos de «piernas rotas», de manera que sea una persona la que decida si hay que optar por seguir la decisión del algoritmo, o bien omitirla y hacer caso al juicio experto? El problema en estos casos es que la gente ve piernas rotas por todas partes:

In context after context, decision makers who wave off the statistical predictions tend to make poorer decisions. The expert override doesn’t do worse when a true broken leg event occurs. Still, experts are overconfident in their ability to beat the system. We tend to think that the restraints are useful for the other guy but not for us. So we don’t limit our overrides to the clear cases where the formula is wrong; we override where we think we know better. And that’s when we get in trouble.

Las dos soluciones anteriores sitúan al humano por encima o al mismo nivel que la máquina. Sin embargo, si lo que queremos es el mejor diagnóstico o la mejor predicción posible, parece que la forma de lograrlo es supeditar el hombre a la máquina. Por ejemplo, en 2005 dos veinteañeros ganaron un torneo de ajedrez utilizando tres programas simultáneamente para decidir sus movimientos. En lugar de postularse como jugadores se relegaron a sí mismos a un segundo plano como entrenadores:

In 2005, the Web site ChessBase.com, hosted a “freestyle” chess tournament: players were free to supplement their own insight with any computer program or programs that they liked, and to solicit advice over the Internet. Although several grandmasters entered the tournament, it was won neither by the strongest human players nor by those using the most highly regarded software, but by a pair of twentysomething amateurs from New Hampshire, Steven Cramton and Zackary “ZakS” Stephen, who surveyed a combination of three computer programs to determine their moves. Cramton and Stephen won because they were neither awed nor intimidated by technology. They knew the strengths and weakness of each program and acted less as players than as coaches.

En varios estudios, la mejor forma de explotar el conocimiento de los expertos fue añadir su evaluación como un factor más a considerar por el algoritmo. De esta manera los ordenadores pueden tener en cuenta aquellas informaciones que los humanos identifican mejor y así el porcentaje de acierto es mayor.

Hoy día todos somos conscientes de que si queremos cálculos rápidos y exactos hemos de recurrir a un ordenador en lugar de a un cerebro humano. También damos por sentado que si necesitamos conocer ciertos datos, como el origen de una palabra, una fecha histórica o el creador de una obra artística terminaremos antes buscándolo en Google que preguntando a nuestros conocidos. Es de suponer que, conforme la tecnología vaya mejorando y expandiéndose, las nuevas generaciones crezcan asumiendo que los ordenadores hacen mejores predicciones que los humanos. Actualmente, nadie se extraña de que las calificaciones de riesgo crediticio las haga un ordenador, cuando hasta hace no mucho esa era una tarea humana. En el futuro, quizá ocurra lo mismo con el diagnóstico clínico.

Inteligencia artificial

Era la primera partida de las seis que se jugaron en 1997. Deep Blue*, jugando con negras, iba perdiendo. Kasparov había logrado sacar al ordenador de su juego basado en una inmensa base de datos de posiciones conocidas, forzándole a utilizar su heurística para continuar la partida. En su cuadragésimo turno, Deep Blue hizo algo muy extraño: movió su torre a la primera fila de las blancas en lugar de hacer jaque al rey de Kasparov, que era lo esperable. La jugada de su contrincante permitía al ruso avanzar con sus peones hacia la primera fila de las negras y obtener una reina. Más sorprendentemente aún, Deep Blue se rindió en el siguiente turno.

Fuente: (Silver, 2012)

De vuelta en su hotel aquella noche, Kasparov no dejaba de preguntarse cómo era posible que Deep Blue hubiera cometido un error táctico de tal magnitud en una posición tan simple; era el tipo de error que los ordenadores no cometen. Revisando los datos, el campeón mundial encontró que la jugada convencional (mover la torre para hacer jaque al rey blanco) no era un buen movimiento en realidad: a la larga hubiera significado la victoria de Kasparov, si bien se necesitarían más de veinte movimientos para llegar a ello. El gran maestro dedujo que la única razón por la que Deep Blue había optado por otro movimiento era que había encontrado otra secuencia más larga de movimientos que llevaran al jaque mate. Con una secuencia más larga Deep Blue quizá habría podido forzar tablas, pues cuantos más movimientos tienen lugar mayor es la posibilidad de que el humano se equivoque en un turno dado (los grandes jugadores cometen errores graves alrededor de una vez cada setenta y cinco movimientos). Pero si eso era cierto, si Deep Blue había dado con una secuencia más larga de movimientos, significaba que el ordenador podía anticiparse más de veinte movimientos, cuando se pensaba que su límite estaba entre seis y ocho. Esa aparente superioridad de la máquina afectó a Kasparov en el resto del encuentro. Nunca más ganó a Deep Blue. El célebre ajedrecista se rindió en la segunda partida, consiguió un empate en las tres siguientes y, finalmente, perdió la sexta.

Hoy día contamos con algo mejor que los expertos de carne y hueso: algoritmos e inteligencia artificial. Sea dicho de antemano que, en mi humilde opinión (no soy ningún experto en la materia), la inteligencia artificial aún es muy primitiva y estamos lejos de la singularidad. Sin embargo, hay cuestiones en las que los algoritmos rinden mejor que los expertos de forma consistente y por amplio margen. Allá por 1990, el profesor de economía de Princeton Orley Ashenfelter, utilizando regresión lineal, tuvo más éxito en sus predicciones sobre el valor futuro de los vinos de Burdeos que el experto en vinos Robert Parker. Bill James usó la estadística para aupar a un equipo de béisbol de bajo presupuesto, los Oakland Athletics, a las Series Mundiales (actualmente, el uso de la estadística se ha extendido a múltiples deportes). Algoritmos sencillos baten por goleada a los humanos en lo que a predicciones políticas se refiere. Existen fórmulas para predecir éxitos de taquilla, determinar qué empleados quieren abandonar la empresa o qué clientes son más proclives a no devolver un préstamo. Deep Blue venció a Kasparov y Watson a los mejores concursantes de Jeopardy. Algoritmos de diagnóstico sencillos como el test de Apgar han salvado miles de vidas de las intuiciones fallidas de los galenos. Y así siguiendo.

Fue el psicólogo Paul Meehl quien abrió la veda de los expertos a mediados del siglo pasado al publicar un libro en el que informaba de que las predicciones hechas por profesionales experimentados eran menos acertadas que las hechas con un algoritmo o fórmula:

Way back in 1954, Paul Meehl wrote a book called Clinical Versus Statistical Prediction. This slim volume created a storm of controversy among psychologists because it reported the results of about twenty other empirical studies that compared how well “clinical” experts could predict relative to simple statistical models. The studies concerned a diverse set of predictions, such as how patients with schizophrenia would respond to electroshock therapy or how prisoners would respond to parole. Meehl’s startling finding was that none of the studies suggested that experts could outpredict statistical equations.

Durante los cincuenta años siguientes se han llevado a acabo docenas de estudios comparando el éxito en la toma de decisiones de los expertos frente a los métodos estadísticos en un amplia variedad de campos. La conclusión no ha cambiado, pues los algoritmos superan de manera significativa a los expertos (ibídem):

Near the end of his life, Meehl, together with Minnesota protégé William Grove, completed a “meta” analysis of 136 of these man-versus-machine studies. In only 8 of 136 studies was expert prediction found to be appreciably more accurate than statistical prediction. The rest of the studies were equally divided between those where statistical prediction “decisively outperformed” expert prediction, and those where the accuracy was not appreciably different. Overall, when asked to make binary predictions, the average expert in these wildly diverse fields got it right about two-thirds of the time (66.5 percent). The Super Crunchers, however, had a success rate that was almost three-quarters (73.2 percent).

Existen varias razones que explican por qué los humanos somos inferiores a los algoritmos cuando se trata de predecir o de tomar decisiones. Para empezar, tal como explica Kahneman:

Una razón [...] es que los expertos tratan de pasar por listos, piensan fuera de la realidad y, para hacer sus predicciones, consideran complejas combinaciones de factores. La complejidad puede contar en los casos raros, pero lo más frecuente es que reduzca la validez.

[...] Otra razón de la inferioridad del juicio experto es que los humanos son incorregiblemente inconsistentes cuando hacen juicios sumarios sobre información compleja. Cuando se les pide evaluar dos veces la misma información, frecuentemente dan respuestas diferentes.

Otro factor relacionado con la psique humana es que, en general, los métodos estadísticos hacen mucho mejor trabajo cuando se trata de elegir qué factores han de tenerse en cuenta a la hora de hacer una predicción o tomar una decisión. También son mejores que las personas asignando pesos a cada factor individual. Según Ayres, incluso ecuaciones simples y poco refinadas son mejores que los humanos.

Por otro lado, se dan factores de método. Por ejemplo, los expertos de carne y hueso no suelen llevar un registro de sus errores y aciertos (de hecho, tienden a recordar solo sus aciertos). Por contra, la validez de los algoritmos es puesta a prueba constantemente con conjuntos de datos reservados para ello y con los nuevos datos que se van generando. Los algoritmos se van refinando y mejoran continuamente; los expertos, no. Adicionalmente, un algoritmo puede darnos una respuesta probabilística (hay un sesenta por ciento de probabilidades de que llueva mañana), lo cual nos permite actuar en consecuencia. Por el contrario, los expertos (especialmente aquellos que aparecen en los medios de comunicación) normalmente hacen afirmaciones simplistas, cerradas y definitivas. Para mayor escarnio, se muestran excesivamente confiados en sus afirmaciones, tal como explicamos en el artículo anterior (el dogmatismo es una vía rápida hacia el error). Los procedimientos estadísticos no solo predicen, sino que también nos dicen qué calidad tiene dicha predicción.

Finalmente, a diferencia de los expertos, la inteligencia artificial no tiene ego ni sentimientos. Esto es muy importante para tomar decisiones no sesgadas (por ejemplo, influidos por el miedo o nuestras opiniones políticas), así como para cambiar nuestras predicciones o nuestro método según vamos recopilando más datos. Mientras que un algoritmo puede ser cien por cien bayesiano, lo que le permite adaptarse, recalcular y asignar nuevos pesos a los factores en los que se basa su decisión para hacer mejores predicciones, las personas, como vimos, en lugar de modificar nuestras creencias modificamos o desechamos los datos que no cuadran con nuestra opinión.

Como ocurre con todo programa informático, durante el desarrollo de Deep Blue sus creadores dedicaron mucho tiempo a solucionar fallos o bugs. Cuando el ordenador hacía un movimiento chocante o estúpido los programadores revisaban el código en busca de la causa y lo corregían. Conforme se eliminaban los bugs y Deep Blue se iba haciendo mejor jugador, cada vez estaba menos claro si esos movimiento insólitos se debían a un error en el programa o a que la máquina había identificado una jugada mejor que había escapado al ojo experto. No obstante, lo que ocurrió en aquella primera partida con Kasparov no fue una genialidad de Deep Blue, sino un error. No es que el programa pudiera predecir más de veinte movimientos; simplemente, sus creadores habían dejado un fallo sin arreglar. De hecho, el error se debió precisamente a que Deep Blue fue incapaz en ese turno de decidirse por el siguiente movimiento (énfasis en el original):

The bug had arisen on the forty-fourth move of their first game against Kasparov; unable to select a move, the program had defaulted to a last-resort fail-safe in which it picked a play completely at random. The bug had been inconsequential, coming late in the game in a position that had already been lost; Campbell and team repaired it the next day. “We had seen it once before, in a test game played earlier in 1997, and thought that it was fixed,” he told me. “Unfortunately there was one case that we had missed.”

Kasparov sobrestimó las capacidades de Deep Blue y lo acabó pagando con la derrota. En general, la falibilidad de la inteligencia artificial abre un gran abanico de posibles maneras en la que podemos acabar perjudicados. Como habrán adivinado sin necesidad de ningún algoritmo, hablaremos sobre ello.

* La historia de Deep Blue y Kasparov está tomada del libro de Nate Silver The Signal and the Noise: Why So Many Predictions Fail - But Some Don't.