¿Experto o cuñado? (IV)

Últimamente me he aficionado a los vídeos del canal de Youtube Power Art. Uno de sus aspectos destacables es la fluidez con la que el presentador habla de la historia del modelo que analiza, de sus datos técnicos y del diseño. Bastan unos pocos minutos de vídeo para considerar a este hombre versado en el mundo del motor, máxime si lo comparamos con el resto de canales dedicados a mostrar coches nuevos, los cuales se limitan a describir las partes visibles del vehículo y contar sus impresiones a base de tópicos.

Imagen de Wikimedia Commons

Pero ¿realmente estamos ante un experto? Quizá se limite a leer un guión. Tal vez nos esté confundiendo su buena actuación ante la cámara. Los actores de la serie de televisión Urgencias o House no sabían nada sobre medicina pero resultaban convincentes. También lo es uno de mis mejores amigos, el cual trabaja como monitor de gimnasio y da clases de GAP, spinning, pilates y lo que le pidan. Él no ha recibido formación reglada en ninguna de esas disciplinas pero no le falta trabajo. Para ello, antes de ir a la entrevista mira unos cuantos vídeos en Youtube, se aprende una clase de memoria y lo enseña en la entrevista. Lleva superando procesos de selección de esta forma más de diez años.

¿Cómo podemos reconocer a un verdadero experto? ¿Cómo detectar a un impostor o a un ignorante? No creo que haya una sola prueba que pueda separar al experto del resto, más bien tendremos que ir acumulando pruebas que confirmen o desmientan nuestra valoración. Se parece un poco a detectar un billete falso ¿Tiene la marca de agua? ¿Se ve el hilo de seguridad? ¿El holograma muestra los reflejos esperados? Cuantas más «pruebas» supere el billete que tendremos entre manos más seguros podremos estar de nuestro juicio. Pero, a diferencia del billete, con el experto nunca podremos estar seguros totalmente de nuestra evaluación; como máximo podemos aspirar a cierta probabilidad de que nuestro juicio sea correcto dentro de un margen de error dado.

David H. Freedman nos sugiere estas sencillas normas para saber si las opiniones de un experto tienen altas probabilidades de ser equivocadas (énfasis en el original):

Expert advice with a higher-than-average likelihood of being wrong is often given away by any number of tells. Be extra wary if the advice fits any of these descriptions:

It’s simplistic, universal, and definitive. [...] When advice is of the sort that promises broad benefits and can be described in a sound bite or headline—“Drinking Coffee Extends Life Span!”—chances are good that either it’s coming from an expert who has wandered off track through mismeasurement, bad analysis, or bias, or something has been lost in the translation as the findings made their way through research journals and the mass media. [...]
It’s supported by only a single study, or many small or less careful ones, or animal studies. Any advice based on one study should be regarded as highly tentative, no matter how good the study seems. The more studies, the better, as a rough rule, but even a series of big, rigorous studies can occasionally produce wrong conclusions. [...]
It’s groundbreaking. For one thing, most expert insights that seem novel and surprising are based on a small number of less rigorous studies and often on just one small or animal study. [...]
It’s pushed by people or organizations that stand to benefit from its acceptance. All experts stand to benefit from their research winning a big audience, of course, and that’s well worth remembering, but in some cases the potential conflict of interest is more likely to be corrosive. That’s especially true when the research is coming out of or being directly funded by individual companies or industry groups whose profits may be impacted by the findings. [...]
It’s geared toward preventing a future occurrence of a prominent recent failure or crisis. This is the “locking the barn door” effect: we’re so irked or even traumatized by whatever has just gone wrong that we’re eager to do now whatever we might have done before to have avoided the problem. It’s about as smart a strategy as standing on a twelve in blackjack with the dealer showing a face card, just because you’ve busted twice in a row.

De manera similar, también describe algunas características de los consejos más fiables (ibídem):

It doesn’t trip the other alarms. [...] we ought to give more weight to expert advice that isn’t simplistic; that is supported by many large, careful studies; that is consistent with what we mostly believe to be true; that avoids conflicts of interest; and that isn’t a reaction to a recent crisis.
It’s a negative finding. [...] There isn’t much reason to game a disappointing conclusion, and anyone who publishes one or reports on it probably isn’t overly concerned with compromising truth in order to dazzle readers.
It’s heavy on qualifying statements. [...] sometimes journal articles and media reports do contain comments and information intended to get us to question the reliability of the study methodology, or of the data analysis, or of how broadly the findings apply. Given that we should pretty much always question the reliability and applicability of expert findings, it can only speak to the credibility of the experts, editors, or reporters who explicitly raise these questions, encouraging us to do the same.
It’s candid about refutational evidence. Claims by experts rarely stand unopposed or enjoy the support of all available data. (A saying in academia: for every PhD, there’s an equal and opposite PhD.) Any expert, journal editor, or reporter who takes the trouble to dig up this sort of conflicting information and highlight it when passing on to us a claim ought to get a bit more of our attention.[...]
It provides some context for the research. Expert findings rarely emerge clear out of the blue—there is usually a history of claims and counterclaims, previous studies, arguments pro and con, alternative theories, new studies under way, and so forth. [...]
It provides perspective. [...] more trustworthy pronouncements tend to more clearly spell out the limitations in their relevance—that a treatment has been tried only on animals or on healthy people, for example, or that a shift in real-estate prices has been clearly observed only in higher-end homes or in one part of the country. [...]
It includes candid, blunt comments. [...] I don’t think you can be confident of really understanding the reliability or significance of an expert claim unless you’ve heard the expert herself or other well-informed experts express their doubts and skepticism. The best places to look for such comments, in my experience, are in longer magazine articles, in letters to journals, and occasionally in radio interviews.

De todos los indicios listados mi favorito es la sinceridad acerca de las pruebas que desmienten la hipótesis. A mi juicio, el experto, para ser tal, debe conocer en profundidad los aspectos más débiles de sus teorías, un requisito que demandaba John Stuart Mill:

En vuestros días está de moda despreciar la lógica negativa que es la que descubre los puntos débiles en la teoría o los errores en la práctica, sin establecer verdades positivas. Semejante crítica negativa sería pobre como resultado final; pero como medio de alcanzar un conocimiento positivo o una convicción digna de tal nombre, nunca será valorada demasiado alto; y hasta que los hombres sean de nuevo y sistemáticamente educados para esto, habrá pocos grandes pensadores y el nivel intelectual medio será bajo, excepto en las especulaciones matemáticas y físicas. En todas las demás materias, ninguna opinión merece el nombre de conocimiento, en tanto que, bien forzado por los demás, bien espontáneamente, no ha seguido el mismo proceso mental a que le hubiera obligado una controversia con sus adversarios.

Después de lo que hemos visto en esta serie de artículos podríamos agregar algunos criterios de nuestra propia cosecha. Primero, que el conocimiento de la persona en cuestión sea fruto de un proceso que tiende a producir verdadero conocimiento. Por ejemplo, el presentador de Power Art es ingeniero mecánico mientras que mi amigo, como he dicho, se alimenta de vídeos de YouTube. No creo que sea controvertido decir que, basándonos únicamente en la formación, el primero tiene más probabilidades de ser un experto real que mi amigo.

Segundo, el verdadero experto es capaz de hacer predicciones que son correctas. El tipo de predicciones dependerá de la materia en concreto. En el caso de mi amigo él debería ser capaz de producir en sus clientes los cambios físicos que demandan (perder peso, ganar fuerza) cuando estos hacen todo lo que mi amigo les dice. El presentador de Power Art, por su parte, hace de ingeniero de pista para un equipo de carreras así que el éxito de sus predicciones se verá en el comportamiento del coche durante la competición.

Finalmente, una de las formas más fiables pero menos útiles para calibrar el conocimiento ajeno es tener uno mismo conocimientos sobre el tema. No siempre podemos alcanzar el nivel requerido para distinguir a un genio de un mediocre y, además, debemos tener la cautela de no favorecer a aquellos expertos que comulgan con nuestras ideas, tachando a los contrarios de ignorantes, pero es de suyo evidente que cuanto más conozcamos la materia mejor cualificados estaremos para juzgar.

Continuará.