lunes, 17 de junio de 2019

¿Experto o cuñado? (IV)

Últimamente me he aficionado a los vídeos del canal de Youtube Power Art. Uno de sus aspectos destacables es la fluidez con la que el presentador habla de la historia del modelo que analiza, de sus datos técnicos y del diseño. Bastan unos pocos minutos de vídeo para considerar a este hombre versado en el mundo del motor, máxime si lo comparamos con el resto de canales dedicados a mostrar coches nuevos, los cuales se limitan a describir las partes visibles del vehículo y contar sus impresiones a base de tópicos.

Imagen de Wikimedia Commons
Pero ¿realmente estamos ante un experto? Quizá se limite a leer un guión. Tal vez nos esté confundiendo su buena actuación ante la cámara. Los actores de la serie de televisión Urgencias o House no sabían nada sobre medicina pero resultaban convincentes. También lo es uno de mis mejores amigos, el cual trabaja como monitor de gimnasio y da clases de GAP, spinning, pilates y lo que le pidan. Él no ha recibido formación reglada en ninguna de esas disciplinas pero no le falta trabajo. Para ello, antes de ir a la entrevista mira unos cuantos vídeos en Youtube, se aprende una clase de memoria y lo enseña en la entrevista. Lleva superando procesos de selección de esta forma más de diez años.

¿Cómo podemos reconocer a un verdadero experto? ¿Cómo detectar a un impostor o a un ignorante? No creo que haya una sola prueba que pueda separar al experto del resto, más bien tendremos que ir acumulando pruebas que confirmen o desmientan nuestra valoración. Se parece un poco a detectar un billete falso ¿Tiene la marca de agua? ¿Se ve el hilo de seguridad? ¿El holograma muestra los reflejos esperados? Cuantas más «pruebas» supere el billete que tendremos entre manos más seguros podremos estar de nuestro juicio. Pero, a diferencia del billete, con el experto nunca podremos estar seguros totalmente de nuestra evaluación; como máximo podemos aspirar a cierta probabilidad de que nuestro juicio sea correcto dentro de un margen de error dado.

David H. Freedman nos sugiere estas sencillas normas para saber si las opiniones de un experto tienen altas probabilidades de ser equivocadas (énfasis en el original):

Expert advice with a higher-than-average likelihood of being wrong is often given away by any number of tells. Be extra wary if the advice fits any of these descriptions:

It’s simplistic, universal, and definitive. [...] When advice is of the sort that promises broad benefits and can be described in a sound bite or headline—“Drinking Coffee Extends Life Span!”—chances are good that either it’s coming from an expert who has wandered off track through mismeasurement, bad analysis, or bias, or something has been lost in the translation as the findings made their way through research journals and the mass media. [...]
It’s supported by only a single study, or many small or less careful ones, or animal studies. Any advice based on one study should be regarded as highly tentative, no matter how good the study seems. The more studies, the better, as a rough rule, but even a series of big, rigorous studies can occasionally produce wrong conclusions. [...]
It’s groundbreaking. For one thing, most expert insights that seem novel and surprising are based on a small number of less rigorous studies and often on just one small or animal study. [...]
It’s pushed by people or organizations that stand to benefit from its acceptance. All experts stand to benefit from their research winning a big audience, of course, and that’s well worth remembering, but in some cases the potential conflict of interest is more likely to be corrosive. That’s especially true when the research is coming out of or being directly funded by individual companies or industry groups whose profits may be impacted by the findings. [...]
It’s geared toward preventing a future occurrence of a prominent recent failure or crisis. This is the “locking the barn door” effect: we’re so irked or even traumatized by whatever has just gone wrong that we’re eager to do now whatever we might have done before to have avoided the problem. It’s about as smart a strategy as standing on a twelve in blackjack with the dealer showing a face card, just because you’ve busted twice in a row.
De manera similar, también describe algunas características de los consejos más fiables (ibídem):

It doesn’t trip the other alarms. [...] we ought to give more weight to expert advice that isn’t simplistic; that is supported by many large, careful studies; that is consistent with what we mostly believe to be true; that avoids conflicts of interest; and that isn’t a reaction to a recent crisis.
It’s a negative finding. [...] There isn’t much reason to game a disappointing conclusion, and anyone who publishes one or reports on it probably isn’t overly concerned with compromising truth in order to dazzle readers.
It’s heavy on qualifying statements. [...] sometimes journal articles and media reports do contain comments and information intended to get us to question the reliability of the study methodology, or of the data analysis, or of how broadly the findings apply. Given that we should pretty much always question the reliability and applicability of expert findings, it can only speak to the credibility of the experts, editors, or reporters who explicitly raise these questions, encouraging us to do the same.
It’s candid about refutational evidence. Claims by experts rarely stand unopposed or enjoy the support of all available data. (A saying in academia: for every PhD, there’s an equal and opposite PhD.) Any expert, journal editor, or reporter who takes the trouble to dig up this sort of conflicting information and highlight it when passing on to us a claim ought to get a bit more of our attention.[...]
It provides some context for the research. Expert findings rarely emerge clear out of the blue—there is usually a history of claims and counterclaims, previous studies, arguments pro and con, alternative theories, new studies under way, and so forth. [...]
It provides perspective. [...] more trustworthy pronouncements tend to more clearly spell out the limitations in their relevance—that a treatment has been tried only on animals or on healthy people, for example, or that a shift in real-estate prices has been clearly observed only in higher-end homes or in one part of the country. [...]
It includes candid, blunt comments. [...] I don’t think you can be confident of really understanding the reliability or significance of an expert claim unless you’ve heard the expert herself or other well-informed experts express their doubts and skepticism. The best places to look for such comments, in my experience, are in longer magazine articles, in letters to journals, and occasionally in radio interviews.
De todos los indicios listados mi favorito es la sinceridad acerca de las pruebas que desmienten la hipótesis. A mi juicio, el experto, para ser tal, debe conocer en profundidad los aspectos más débiles de sus teorías, un requisito que demandaba John Stuart Mill:

En vuestros días está de moda despreciar la lógica negativa que es la que descubre los puntos débiles en la teoría o los errores en la práctica, sin establecer verdades positivas. Semejante crítica negativa sería pobre como resultado final; pero como medio de alcanzar un conocimiento positivo o una convicción digna de tal nombre, nunca será valorada demasiado alto; y hasta que los hombres sean de nuevo y sistemáticamente educados para esto, habrá pocos grandes pensadores y el nivel intelectual medio será bajo, excepto en las especulaciones matemáticas y físicas. En todas las demás materias, ninguna opinión merece el nombre de conocimiento, en tanto que, bien forzado por los demás, bien espontáneamente, no ha seguido el mismo proceso mental a que le hubiera obligado una controversia con sus adversarios.

Después de lo que hemos visto en esta serie de artículos podríamos agregar algunos criterios de nuestra propia cosecha. Primero, que el conocimiento de la persona en cuestión sea fruto de un proceso que tiende a producir verdadero conocimiento. Por ejemplo, el presentador de Power Art es ingeniero mecánico mientras que mi amigo, como he dicho, se alimenta de vídeos de YouTube. No creo que sea controvertido decir que, basándonos únicamente en la formación, el primero tiene más probabilidades de ser un experto real que mi amigo.

Segundo, el verdadero experto es capaz de hacer predicciones que son correctas. El tipo de predicciones dependerá de la materia en concreto. En el caso de mi amigo él debería ser capaz de producir en sus clientes los cambios físicos que demandan (perder peso, ganar fuerza) cuando estos hacen todo lo que mi amigo les dice. El presentador de Power Art, por su parte, hace de ingeniero de pista para un equipo de carreras así que el éxito de sus predicciones se verá en el comportamiento del coche durante la competición.

Finalmente, una de las formas más fiables pero menos útiles para calibrar el conocimiento ajeno es tener uno mismo conocimientos sobre el tema. No siempre podemos alcanzar el nivel requerido para distinguir a un genio de un mediocre y, además, debemos tener la cautela de no favorecer a aquellos expertos que comulgan con nuestras ideas, tachando a los contrarios de ignorantes, pero es de suyo evidente que cuanto más conozcamos la materia mejor cualificados estaremos para juzgar.

Continuará.

lunes, 3 de junio de 2019

¿Experto o cuñado? (III)

Alejémonos un poco del concepto filosófico y centrémonos en la definición mundana del saber. Aquí encontramos, por un lado, el conocimiento de tipo Trivial Pursuit que sirve para responder  a preguntas tales como «¿cuántos jueces hay en el Tribunal Supremo?», «¿cuál es el número de Avogadro?», «¿qué países forman parte de la OTAN?» o «¿cuáles son los gases nobles?». Por otro, tenemos el conocimiento que utilizamos en cuestiones del tipo «justifica tu respuesta». El primero es fácil de evaluar. El segundo, que es el que nos interesa, no tanto.

Foto de Jlhopgood
¿Cómo podemos valorar si una persona es realmente experta en una materia? ¿Cómo asegurarnos de que no estamos confundiendo otras cualidades (seguridad en uno mismo, dominio de la jerga) con conocimiento verdadero? ¿Cómo podemos comprobar que no es el homúnculo de la habitación china de la que hablamos al principio?

Philip Tetlock, cuyo trabajo hemos mencionado en varias ocasiones, utilizó como vara de medir la capacidad de hacer predicciones acertadas. Como él mismo reconoce, es una elección discutible porque es posible conocer un fenómeno pero errar la predicción:

Explanation is possible without prediction. A conceptually trivial but practically consequential source of forecasting failure occurs whenever we possess a sound theory but do not know whether the antecedent conditions for applying the theory have been satisfied: high school physics tells me why the radiator will freeze if the temperature falls below 32°F but not how cold it will be tonight. Or, consider cases in which we possess both sound knowledge and good knowledge of antecedents but are stymied because outcomes may be subject to chaotic oscillations. Geophysicists understand how principles of plate tectonics produce earthquakes and can monitor seismological antecedents but still cannot predict earthquakes.
Asimismo, es posible hacer predicciones correctas aun cuando no sepamos explicar el fenómeno (ibídem):

Conversely, prediction is possible without explanation. Ancient astronomers had bizarre ideas about what stars were, but that did not stop them from identifying celestial regularities that navigators used to guide ships for centuries. And contemporary astronomers can predict the rhythms of solar storms but have only a crude understanding of what causes these potentially earth-sizzling eruptions. 
Este último problema ya nos lo hemos encontrado y vimos que, para que la explicación se considere conocimiento, esta debe tener una conexión causal con el hecho. Esa es la razón por la que, como ilustra el propio Tetlock, ningún científico que se precie cambiaría su opinión acerca de la astrología aun cuando un astrólogo hiciera predicciones acertadas, pues ello socavaría un enorme corpus de conocimiento científico establecido. En una situación así lo más lógico sería buscar otros mecanimos subyacentes a esos aciertos.

Podemos ver de forma sencilla la relación entre predicciones y conocimiento considerando los pronósticos sobre el clima. Si la aplicación meteorológica de nuestro teléfono no acierta nunca con la lluvia o con la temperatura de los días venideros diríamos que quienes hacen los pronósticos no tienen ni idea. Afortunadamente, aunque el clima es uno de los mejores ejemplos de oscilaciones caóticas que influyen en el resultado es posible hacer predicciones bastante certeras para cortos periodos de tiempo.

La reputación de los meteorólogos probablemente sea peor de lo que merecen, algo que no diría de los economistas cuyas predicciones yerran con tanta frecuencia que, en mi opinión, hay un sentimiento generalizado de falta de competencia que está justificado. De hecho, hay economistas que comparten esa sensación:

[E]conomics is faulted for its failure to predict. God created economic forecasters to make astrologers look good, quipped John Kenneth Galbraith (himself an economist). Exhibit A in recent times has been the global financial crisis, which unfolded at a time when the vast majority of economists had been lulled into thinking macroeconomic and financial stability had arrived for good. I explained in the previous chapter that this misperception was another by-product of the usual blind spot: mistaking a model for the model.
¿Por qué ligamos conocimiento y pronósticos acertados? Quizá sea un efecto secundario del método científico. Una buena teoría científica no solo explica los fenómenos observados hasta la fecha sino que además permite hacer predicciones claras, precisas y (a menudo) sorprendentes que pueden comprobarse. Simplificando mucho, si las predicciones resultan ser ciertas la teoría es verificada y, si no lo son, la teoría es refutada. Por ejemplo, según la teoría de la relatividad general de Einstein el Sol curva la luz en una magnitud concreta:

Otra verificación astronómica famosa de la relatividad general es la predicción de Einstein de que el Sol curva la luz. La gravitación newtoniana también predice esto, pero la relatividad general predice una cantidad de curvamiento que es dos veces mayor. El eclipse solar total de 1919 proporcionó una oportunidad para distinguir los dos, y Sir Arthur Eddington organizó una expedición, finalmente anunciando que Einstein se imponía. Esto fue aceptado con entusiasmo en la época, pero más tarde se hizo claro que los datos eran pobres y el resultado fue cuestionado. Observaciones independientes adicionales de 1922 parecían estar de acuerdo con la predicción relativista, como lo estuvo un reanálisis posterior de los datos de Eddington. En la década de los sesenta del siglo XX, se hizo posible hacer las observaciones para radiaciones de radiofrecuencia y, solo entonces, fue seguro que los datos sí que mostraban una desviación dos veces mayor que la predicha por Newton e igual a la que predijo Einstein.
Otro buen ejemplo de teoría verificada por sus predicciones es la tabla de elementos de Mendeleiev:

En 1871, Mendeleiev predijo la existencia de tres elementos desconocidos en su tiempo, llegando a señalar sus propiedades más destacadas (incluyendo el peso atómico aproximado). Estas predicciones se vieron confirmadas pronto: en 1875, el francés Paul Émile Lecoq de Boisbaudran (1838-1912) anunciaba el descubrimiento del galio (ekaboro para Mendeleiev); en 1879, el sueco Lars Fredrik Nilson (1840-1899) hacía lo propio con el escandio (ekaluminio), y en 1886, el alemán Clemens Alexander Winkler (1838-1904) descubría el germanio (ekasilicio).
Ejemplos de teorías refutadas por las observaciones serían el modelo geocéntrico de Ptolomeo y la teoría del flogisto. Aunque ambas teorías fueron válidas durante bastante tiempo finalmente acabaron siendo desplazadas por teorías mejores. Durante ese proceso, para acomodar las observaciones que no encajaban se hacían modificaciones ad hoc (añadiendo epiciclos y deferentes en el primer caso, asignando al flogisto un peso negativo en el segundo) que complicaban la teoría o introducían problemas nuevos.

Las explicaciones teológicas que se proponen como alternativa a teorías científicas se comportan igual que las malas teorías: cambian con cada nueva observación para acomodarse a ellas. Esto tiene la ventaja de que la teoría, efectivamente, se adapta a las pruebas lo que, según sus proponentes, prueba que son ciertas. El problema es que cualquier creencia, por rídicula que sea, puede hacerse encajar con las pruebas disponibles. Stephen Law pone el siguiente ejemplo:

Dave believes dogs are spies from the planet Venus. He views any canine with great suspicion, for he believes they are here from Venus to do reconnaissance work. Dogs, Dave supposes, secretly send their reports back to Venus, where the rest of their fiendishly cunning alien species are meticulously planning their invasion of the earth. Their spaceships will shortly arrive from Venus to enslave the human race and take over the world.

Unsurprisingly, Dave's friends think he has a screw loose and try to convince him that dogs are comparatively benign pets, not cunning alien spies. Here's a typical example of how their conversations with Dave go.

 DAVE: It's only a matter of weeks now! The spaceships will arrive and then you'll wish you'd listened to me. We must act now—let the government know!
MARY: Look, Dave, dogs are pretty obviously not space invaders, they're just dumb pets. Dogs can't even speak, for goodness sake, let alone communicate with Venus!
DAVE: They can speak—they just choose to hide their linguistic ability from us. They wait till we leave the room before they talk to each other.
PETE: But Venus is a dead planet, Dave. It's horrifically hot and swathed in clouds of acid. Nothing could live there, certainly not a dog!
DAVE: Dogs don't live on the surface of Venus, you fool—they live below, in deep underground bunkers.
MARY: But then how do earth-bound dogs communicate with their allies on Venus? I've got a dog, and I've never found an alien transmitter hidden in his basket.
DAVE: They don't use technology we can observe. Their transmitters are hidden inside their brains!
MARY: But Pete is a vet, and he's X-rayed several dog's heads, and he's never found anything in there!
PETE: In fact, I once chopped up a dog's brain in veterinary school—let me assure you, Dave, there was no transmitter in there!
DAVE: You're assuming their transmitters would be recognizable as such. They are actually made of organic material indistinguishable from brain stuff. That's why they don't show up on X-rays. This is advanced alien technology, remember—of course we cannot detect it!
MARY: But we don't detect any weird signals being directed at Venus from the earth.
DAVE: Of course, we don't—like I said, remember, this is advanced alien technology beyond our limited understanding!
PETE: How do dogs fly spaceships? They don't even have hands. So they can't hold things like steering wheels and joysticks.
DAVE: Really, Pete. Think about it. You are assuming that their spacecraft will be designed to be operated by human hands. Obviously they won't. They'll be designed to be maneuvered by a dog's limbs, mouth, tongue, and so on.
Como vemos, con cada pregunta Dave añade un «epiciclo» para ajustar su descabellada hipótesis con las observaciones. Muchos de estos ajustes son, además, imposibles de comprobar lo que hace imposible falsificar su teoría, una falta de rigor científico característica de este tipo de explicaciones.

Todos nosotros usamos parte del método científico cada día. ¿Nos gustará esto que probamos por primera vez? ¿Estará peor el tráfico esta mañana? ¿Debería aceptar este nuevo trabajo? Respondemos estas preguntas con predicciones basadas en nuestras propias teorías sobre cómo funciona el mundo o cómo somos nosotros. El método científico dicta que cuando nos equivocamos lo que deberíamos hacer es revisar nuestra teoría. Sin embargo, lo que solemos hacer es poner excusas, igual que hicieron los expertos entrevistados por Tetlock: «no ha pasado pero pasará», «lo que en realidad quise decir era esto otro», «no ha ocurrido por poco», etcétera. Hacer esto es síntoma de que nuestra teoría es errónea lo que significa, a su vez, que no sabíamos tanto como pensábamos.

Continuará.