Mostrando entradas con la etiqueta estadística. Mostrar todas las entradas
Mostrando entradas con la etiqueta estadística. Mostrar todas las entradas

lunes, 11 de febrero de 2019

En busca del coche perfecto (y VII)

La satisfacción de nuestros deseos y necesidades no es una función lineal. Por ejemplo, el primer bocado de un postre es casi siempre el mejor. El segundo, algo menos delicioso. El tercero, un poco menos que el segundo. Y así sucesivamente, hasta que nos cansamos de lo que estamos comiendo. De igual manera, no sentimos el mismo dolor al gastar mil euros adicionales en una factura de treinta y mil euros que en una de tan solo cien.

Por otro lado, tendemos a preferir las soluciones equilibradas. Son pocas las ocasiones en las que estamos dispuestos a renunciar totalmente a algo para obtener más de otra cosa. En el caso que nos ha tenido ocupados, el de los coches, la mayoría de nosotros tenemos un límite a partir del cual nos negamos a sacrificar más equipamiento, más potencia o más eficiencia para obtener mejor precio, más fiabilidad o un diseño más bonito. Autores más elocuentes que yo lo han expresado de esta manera:

Simple additive weighting implies that there is a fixed trade-off rate between each pair of criteria. Moreover this trade-off, or “exchange rate,” is assumed to remain the same irrespective of the level of the attributes. For example, if you are willing to work for an employer for $50 per hour, then you would be willing to do this whether you worked eight hours per day or 20 hours per day. Of course this is not realistic; the employee would expect a greater hourly return for working 20 hours per day. This illustrates that human preference (score) functions cannot be assumed to be linear. Another clear example is to consider the marginal utility of repeatedly giving someone $100 bills. The first such bill will be considered more personally valuable than the thousandth one. This is an instance of the diminishing value of marginal returns—something that simple additive weighting does not take into account. (An informal illustration of this was given by the actor and Governor of California, Arnold Schwarzenegger: “I have 50 million dollars, but I was just as happy when I had 48 million.” At the other end of the scale, when a king has zero horses and needs one to escape he may be heard to exclaim “A horse! A horse! My kingdom for a horse.”)
Visualmente, la agregación de preferencias mediante la suma tiene este aspecto:

Tofallis, C. (2014)

Mientras que la agregación obtenida mediante la multiplicación tiene este otro:

Tofallis, C. (2014)

Como vemos, en el caso del producto se genera una frontera curva. Esa curva representa nuestra saturación.

Preguntémonos para terminar: ¿es perfecto el método que hemos usado? En absoluto. Una limitación es el tipo de datos al que se puede aplicar. En estadística descriptiva hay cuatro tipo de medidas: nominal, ordinal, intervalar y racional. Una variable nominal puede ser, por ejemplo, el nombre de la marca. Una variable ordinal sería el puesto en el que quedó un coche en la votación para elegir el mejor coche del año. Una variable intervalar sería la puntuación obtenida por el vehículo en la prueba realizada por la prensa del motor. Finalmente, una variable racional podría ser la potencia del motor medida en kilovatios.

La agregación mediante producto solo debería aplicarse cuando se trabaja con variables racionales, esto es, atributos que tienen un cero natural (no arbitrario) que significa ausencia de la característica. Esto significa que no podemos considerar aspectos subjetivos como el diseño o la calidad de los materiales puesto que no hay una escala de razón para medirlos. Para mí no es un problema porque me es indiferente la belleza del coche (de hecho, mi primer coche nuevo lo compré a pesar de su diseño) pero para otras personas este factor es de los más importantes.

Otra precaución a tener en cuenta con nuestro método es que los atributos deben ser independientes entre sí, es decir, que el valor de uno no dependa del valor de otro. Para ilustrar esta necesidad, consideremos la siguientes tablas:

Número de cilindrosCilindradaPotenciaEquipamientoPuntuación
Coche 141.9991822288
Coche 239991207252
Coche 331.5001404252
PotenciaEquipamientoPuntuación
Coche 11822364
Coche 21207840
Coche 31404560

Si ordenamos los coches según su puntuación en cada tabla veremos que el orden no coincide. La razón es fácil de ver. En la primera tabla la mayoría de factores están relacionados entre sí: la cilindrada depende del número de cilindros, así como la potencia depende de la cilindrada. Por tanto, estamos contando tres características del motor que van de la mano y solo una independiente (equipamiento). Si hacemos eso los motores más potentes dominarán sobre el resto de coches aun cuando anden muy, muy escasos de otras características.

La lección a extraer es que debemos ser cuidadosos y no contar el mismo atributo varias veces con nombres distintos. No siempre es fácil y, de hecho, no siempre es posible. Consideremos, verbigracia, el consumo de combustible, que tiende a ser mayor en motores más grandes. También el nivel de equipamiento puede mostrar cierta correlación con la potencia del motor, pues los acabados más lujosos suelen ir asociados a motores con más caballos. En estos casos lo único que podemos es hacer es centrarnos en los atributos que más nos importan en la práctica, así como seleccionar aquellos que tengan una correlación más próxima a cero.

El Programa de las Naciones Unidas para el Desarollo publica anualmente una tabla de países ordenada según su índice de desarrollo humano (Human Development Index, HDI). Este indicador es un índice compuesto por tres medidas: esperanza de vida al nacer, años de escolarización e ingreso nacional bruto per cápita. Fue creado por el economista paquistaní Mahbub ul Haq en 1990 para intentar representar las posibilidades de desarrollarse que tienen los habitantes de un país de una forma que fuera más allá de los indicadores de corte económico.

Hasta el año 2010 el HDI era la media aritmética de los índices que lo componen, es decir, que la agregación de los mismos era lineal (se sumaban). Esto significaba que una deficiencia podía compensarse totalmente por otra característica. Por ejemplo, un país con una esperanza de vida de veinte años podía obtener la misma calificación que otro donde la gente vivía y estudiaba más años pero ganaba menos dinero. Así, los criterios eran perfectamente sustituibles y las compensaciones entre ellos, constantes.

Desde 2010 el índice de desarrollo humano se calcula obteniendo la media geométrica de los indicadores agregados, esto es, se multiplican entre sí (y luego se obtiene la raíz cuadrada). Este sistema, además de reflejar la utilidad marginal decreciente de los indicadores subyacentes, no genera unos resultados u otros dependiendo del método de normalización elegido, o la escala de los valores.

Con esto concluye, por el momento, nuestra breve iniciación al análisis de datos y la toma de decisiones con criterios múltiples. Para poder continuar necesitamos conocer antes nuevos conceptos y herramientas matemáticas. Su aprendizaje debería ayudarnos a lidiar racionalmente con algunos problemas de la vida cotidiana.

lunes, 21 de enero de 2019

En busca del coche perfecto (VI)

Hasta ahora todos nuestros intentos por elaborar una clasificación objetiva y fiable han sido infructuosos. Hemos visto que no podemos asignar y sumar puntos porque para ello es necesario normalizar los valores, lo cual introduce subjetividad (el método de normalización elegido) y elimina la transitividad (la clasificación depende de los competidores considerados y puede cambiar si se agregan o quitan algunos de ellos). También hemos concluido que no podemos sumar los datos sin normalizar porque el rango de valores en el que se mueve cada característica (precio, potencia, etcétera) pertenecen a escalas diferentes que no están equilibradas, por lo que unas dominan sobre otras aunque la importancia no sea la misma.

La palabra clave en el párrafo anterior es «sumar». Recordemos que lo que pretendemos es agregar múltiples mediciones cualitativas (potencia, precio, consumo, equipamiento, etcétera) en una sola cifra. El hecho es que la suma no es la única forma de agregar datos; también podemos multiplicar. Exploremos esta vía.

Si repasamos algunas de las ecuaciones más conocidas de la física veremos que todas ellas utilizan el producto en lugar de la suma. Verbigracia:

Ecuación equivalencia masa-energía de Einstein
Segunda ley de Newton
Ley de gravitación universal

Como dice Chris Tofallis:

The key thing to notice regarding equations in physics is that the physical laws are generally in the form of a product of variables (i.e. multiplication), and not a sum. This immediately overcomes the issue of incommensurability —adding together quantities measured in different units —the 'adding apples with oranges' problem. It also allows for ‘more is worse’ variables to be included —one simply divides by them so that increased values lead to a reduction in the impact. This is illustrated by the universal law of gravitation [...]. The greater the distance - the weaker the force. This also shows us how weights could be incorporated — one simply raises a variable to a power.
Las ventajas de calcular la puntuación final multiplicando en lugar de sumando son varias. En primer lugar, podemos cambiar la escala de un atributo sin afectar al resultado final. Por ejemplo, en nuestro caso podemos pasar de medir la potencia de caballos de vapor a kilowatios sin que la clasificación cambie. En segundo lugar, el hecho de que unos atributos sean numéricamente mucho mayores que otros ya no importa porque, como acabamos de decir, la escala no tiene importancia. Esto hace innecesario normalizar los datos, lo cual incrementa la objetividad y hará que los resultados sean iguales independientemente de los coches considerados.

Otra ventaja es que con la multiplicación los pesos son fáciles de interpretar: un peso X significa que un aumento del 1% del atributo al que se asigna el peso aumentará la puntuación final en un X%. Por ejemplo, si asignamos a la potencia del motor un peso de valor 3 significa que, si aumentamos la potencia del motor un 1%, entonces la puntuación de ese coche sube un 3%. Cuando todos los pesos son iguales, un cambio de un 1% en cualquier atributo cambiará la puntuación final en un 1%.

Veamos cómo quedaría nuestra clasificación aplicando este método. Vamos a usar esta fórmula:

$$ puntos = {CV \cdot Equipamiento \cdot Equipamiento Seguridad \over Precio \cdot Consumo Combinado} $$

Coche CV Consumo combinado Equipamiento Equipamiento seguridad Precio Puntuación final
Audi A3 Sportback 150 150 5.1 35 9 28950 0.3200
Fiat Tipo Easy 120 6 12 4 18777 0.0511
Ford Focus Trend 100 4.9 20 12 19575 0.2502
Honda Civic Prestige 182 5.8 45 15 28850 0.7341
Hyundai i30 Go 120 5.5 33 15 23025 0.469
Kia Ceed Drive 100 100 6.2 18 13 20350 0.1854
Mazda3 Evolution 120 5.1 31 10 21915 0.3328
Opel Astra GSiLine 200 200 6.2 37 15 28418.24 0.6299
Peugeot 308 GTLine 130 4.4 30 8 22050 0.3215
Renault Megane GTLine 160 160 5.5 23 8 26889.62 0.1990
Seat Leon Xcellence Edition 150 5.1 36 12 25610 0.4961
Volkswagen Golf Sport 5p 130 130 5 44 9 28945 0.3642


Con lo que el podio queda así:
  1. Honda Civic Prestige
  2. Opel Astra GSi Line
  3. Seat Leon Xcellence Edition
Supongamos ahora que nuestro presupuesto es limitado. Para darle más importancia al precio vamos a asignarle un peso de, por ejemplo, 5 (recordemos que esto significa que un precio un 1% menor resulta en una puntuación un 5% mejor). En este caso la fórmula sería esta:

$$ puntos = {CV \cdot Equipamiento \cdot Equipamiento Seguridad \over Precio^5 \cdot Consumo Combinado} $$

Y los tres primeros clasificados serían estos:
  1. Ford Focus Trend
  2. Hyundai i30 Go 
  3. Mazda3 Evolution

Continuará.

lunes, 17 de diciembre de 2018

En busca del coche perfecto (V)

Vamos a añadir más coches a nuestra tabla de clasificación usando el método de normalización z-score del que hemos hablado. Agreguemos estos:

Coche CV Consumo combinado Equipamiento Equipamiento de seguridad Precio
Audi A3 Sportback 150 5,1 35 9 28.950
Fiat Tipo Easy 120 6,0 14 4 18.777
Hyundai i30 Go 120 5,4 33 15 23.025
Kia Ceed Drive 100 6,2 18 13 20.350
Pegueot 308 GTLine 130 4,4 27 8 20.440
Volkswagen Golf Sport 5p 130 5,0 44 9 28.945


Anexándolos a los coches que ya teníamos, normalizando los datos y haciendo la suma la clasificación quedaría así:


Coche CV Consumo combinado Equipamiento Equipamiento seguridad Precio Puntuación final
Audi A3 Sportback 150 0.37 -0.53 0.46 -0.53 1.15 -0.32
Fiat Tipo Easy -0.6 1.06 -1.79 -1.99 -1.44 -4
Ford Focus Trend -1.24 -0.88 -1.01 0.34 -1.24 0.21
Honda Civic Prestige 1.41 0.71 1.43 1.21 1.121 2.22
Hyundai i30 Go -0.6 0.18 0.26 1.21 -0.36 1.06
Kia Ceed Drive 100 -1.24 1.42 -1.20 0.63 -1.04 -2.19
Mazda3 Evolution -0.6 -0.53 0.066 -0.24 -0.64 0.40
Opel Astra GSiLine 200 1.99 1.42 0.65 1.21 1.01 1.42
Peugeot 308 GTLine -0.27 -1.77 -0.03 -0.83 -0.61 1.25
Renault Megane GTLine 160 0.69 0.18 -0.72 -0.83 0.62 -1.64
Seat Leon Xcellence Edition Plus 0.37 -0.53 0.55 0.34 0.3 1.5
Volkswagen Golf Sport 5p 130 -0.27 -0.71 1.33 -0.53 1.14 0.09

Ordenemos por puntuación para ver el resultado más claramente:

Coche Puntuación final
Honda Civic Prestige 2.22
Seat Leon Xcellence Edition Plus 1.5
Opel Astra GSiLine 200 1.42
Peugeot 308 GTLine 1.25
Hyundai i30 Go 1.06
Mazda3 Evolution 0.40
Ford Focus Trend 0.21
Volkswagen Golf Sport 5p 130 0.09
Audi A3 Sportback 150 -0.32
Renault Megane GTLine 160 -1.64
Kia Ceed Drive 100 -2.19
Fiat Tipo Easy -4


El Honda Civic recibe la mejor puntuación, seguido del Seat León y del Opel Astra. En la cola de la tabla encontramos el Renault Megane, el Kia Ceed y el Fiat Tipo.

Un momento. Aquí falla algo. ¿No habíamos quedado en que el Seat León era el mejor? Recordemos la clasificación que teníamos antes de agregar más coches:

  1. Seat León Xcellence Plus
  2. Honda Civic Prestige
  3. Mazda 3 Evolution
  4. Ford Focus Trend
  5. Opel Astra GSILine
  6. Renault Megane GTLine
Sin embargo, en la nueva clasificación el orden de varios vehículos ha cambiado. Antes teníamos:

Seat León Xcellence Plus > Honda Civic Prestige
Mazda3 > Opel Astra GSILine 
Ford Focus Trend > Opel Astra GSILine

Pero ahora tenemos:

Honda Civic Prestige > Seat León Xcellence Plus
Opel Astra GSILine > Mazda3 Evolution
Opel Astra GSILine > Ford Focus Trend

¿Qué ha pasado? ¿Por qué la clasificación ha cambiado al agregar más vehículos?

En resumidas cuentas, porque hemos normalizado los datos. Ya se calculen usando mínimo-máximo o z-score, los valores normalizados se computan a partir de los existentes. Por consiguiente, cuando estos datos cambian (se agregan, eliminan o modifican observaciones) también lo hacen los valores normalizados. En nuestro caso esto significa que la clasificación no es absoluta ni inmutable ya que el orden puede variar según los automóviles que incluyamos en nuestro estudio. De nuevo, no parece una solución correcta.

Si la normalización es el problema ¿por qué no prescindir de ella? Podríamos, sencillamente, sumar y restar los valores en bruto. Si hiciéramos eso obtendríamos este resultado:


Coche CV Consumo combinado Equipamiento Equipamiento seguridad Precio Puntuación final
Audi A3 Sportback 150 150 5.1 35 9 28950 -2851,1
Fiat Tipo Easy 120 6 12 4 18777 -18647
Ford Focus Trend 100 4.9 20 12 19575 -19447,9
Honda Civic Prestige 182 5.8 45 15 28850 -28613,8
Hyundai i30 Go 120 5.5 33 15 23025 -22862,5
Kia Ceed Drive 100 100 6.2 18 13 20350 -20225,2
Mazda3 Evolution 120 5.1 31 10 21915 -21759,1
Opel Astra GSiLine 200 200 6.2 37 15 28418.24 -28172,44
Peugeot 308 GTLine 130 4.4 30 8 22050 -21886,4
Renault Megane GTLine 160 160 5.5 23 8 26889.62 -26704,12
Seat Leon Xcellence Edition (aka Plus) 150 5.1 36 12 25610 -25417,1
Volkswagen Golf Sport 5p 130 130 5 44 9 28945 -28767

Lo que resumido queda así:

Coche Puntuación final
Fiat Tipo Easy -18647
Ford Focus Trend -19447,9
Kia Ceed Drive 100 -20225,2
Peugeot 308 GTLine -21886,4
Mazda3 Evolution -21759,1
Hyundai i30 Go -22862,5
Seat Leon Xcellence Edition (aka Plus) -25417,1
Renault Megane GTLine 160 -26704,12
Opel Astra GSiLine 200 -28172,44
Honda Civic Prestige -28613,8
Audi A3 Sportback 150 -28761,1
Volkswagen Golf Sport 5p 130 -28767


La ventaja de hacer esto que el orden los coches no cambiará aunque se agreguen o se quiten otros modelos, es decir, el Ford Focus seguirá teniendo mejor puntuación que el Hyundai i30 aunque incluyamos modelos de Mercedes-Benz.

La desventaja de este sistema, sin embargo, es demasiado grande como para ignorarla y se ve reflejada en la puntuación final. Como vemos, todos los coches obtienen una puntuación negativa. Esto sucede porque el precio es una cantidad que se resta (cuanto más cuesta un coche, peor) y su magnitud es muy superior a la de los otros atributos. Por ejemplo, la potencia se sitúa entre cien y doscientos caballos mientras que el precio lo hace entre dieciocho mil y veinte mil euros lo cual significa que, si sumamos los datos en bruto, el coche más barato será siempre el primer clasificado. Empero, pocas personas considerarían que el Fiat Tipo en su acabado más básico es el mejor compacto del mercado o que el Volkswagen Golf en su versión más alta es el peor.

Quizá podamos arreglar el desaguisado asignando pesos a cada característica. Si, verbigracia, multiplicamos los valores de potencia por 144 los resultados oscilarían entre 14.380 y 28.761, de forma que la potencia importaría más o menos lo mismo que el precio. Esto nos permite, además, personalizar el cálculo a nuestra preferencia. Quizá seamos de esas personas que, en lo relativo a seguridad del vehículo, no miran el duro. Quizá queramos un coche potente para divertirnos. O quiźa busquemos gastar lo mínimo posible. Los pesos nos permiten adaptar el resultado a nuestras necesidades, si bien introducen un grado de subjetividad con el que hay que ser cuidadosos, so pena de ser víctimas del sesgo de confirmación, esto es, de que la clasificación refleje nuestras creencias previas.

Veamos un ejemplo utilizando pesos. Supónganse los siguientes pesos:

Puntuación = 3 * CV + 4 * Equipamiento

La ecuación anterior refleja que nos importa más el equipamiento que la potencia. La interpretación matemática sería que 4 caballos equivalen a 3 elementos de equipamiento. Así pues, siendo todo lo demás igual, si un coche tiene 104 caballos y 10 elementos de equipamiento tendrá los mismos puntos que uno con 100 caballos y 13 elementos de equipamiento.

Cuando solo tenemos dos atributos es sencillo ver qué significa cada peso. Sin embargo, cuando tenemos decenas o cientos de ellos la interpretación se torna dificíl o imposible.

Continuará.

lunes, 5 de noviembre de 2018

En busca del coche perfecto (IV)

Terminado el análisis de datos exploratorio podemos empezar a calcular qué coche es el mejor. Empezaremos con soluciones intuitivas e iremos refinando nuestro sistema hasta llegar a un sistema con cierta solvencia matemática. Para nuestras explicaciones utilizaremos un puñado de coches y solo consideraremos unas pocas características, ya que eso hará más fácil seguir el razonamiento.

Recordemos nuestra pregunta original. Dado un conjunto de coches ¿cuál es el mejor? En la primera parte de esta serie de artículos dijimos que «el mejor» es aquel que satisface todas nuestras necesidades y preferencias. En este caso buscamos un coche potente con un consumo bajo, bien equipado, seguro y barato. Con esta definición en mente veamos cual sería la mejor opción entre estos vehículos:

Coche CV Consumo combinado Equipamiento Equipamiento de seguridad Precio
Ford Focus Trend 100 4,9 20 12 19.575
Mazda 3 Evolution 120 5,1 31 10 21.915
Seat León Xcellence Plus 150 5,1 36 12 25.610
Renault Megane GT Line 160 5,5 23 8 26.890
Honda Civic Prestige 182 5,8 45 15 28.850
Opel Astra GSiLine 200 6,2 37 15 28.418

El Ford Focus es el más barato pero también es el menos potente y menos equipado. El Opel Astra es el más potente pero es el segundo más caro y no es el más equipado, además de ser el que más combustible gasta. El Honda Civic es bastante potente y el que mejor equipado está pero es el más caro. El Mazda 3 y el Seat León se mueven en zonas intermedias. Vamos a tratar de elaborar un ranking para dilucidar cuál cubre mejor nuestras demandas.

La primera idea que se me ocurre para crear la tabla de clasificación es asignar puntos. Podemos empezar, por ejemplo, por asignar un punto al coche que sea mejor en potencia, otro punto al que tenga mejor equipamiento, otro al que tenga mejor consumo y otro al que tenga el mejor precio. Después los sumamos todos y el que más puntos tenga sería el mejor. En nuestro caso quedaría así:

Coche CV Consumo combinado Equipamiento Equipamiento de seguridad Precio Puntos
Ford Focus Trend 0 1 0 0 1 2
Mazda 3 Evolution 0 0 0 0 0 0
Seat León Xcellence Plus 0 0 0 0 0 0
Renault Megane GT Line 0 0 0 0 0 0
Honda Civic Prestige 0 0 1 1 0 2
Opel Astra GSiLine 1 0 0 1 0 2

Tenemos un triple empate, lo cual no nos ayuda demasiado. Si tuviéramos en cuenta más características quizá lograríamos deshacer el empate pero seguiríamos tendiendo un problema: este sistema favorece los extremos, ya que solo se obtiene un punto cuando se está por encima o por debajo de todos los demás. Dado que lo que buscamos es un equilibrio entre distintos factores no parece que este método sea el adecuado porque nuestra respuesta, probablemente, ande por la zona media. Supongamos, verbigracia, que tenemos estos tres coches:

Coche CV Consumo combinado Equipamiento Equipamiento de seguridad Precio Puntos
Coche A1507,0201022.0003
Coche B1406,019921.0000
Coche C1005,510520.0002

Según esto deberíamos descartar el coche B pero, si observamos detenidamente, veremos que el coche B parece la opción más acertada: no es el mejor en nada pero está muy cerca de los que sí lo son.

La forma en que suele resolverse el problema anterior es repartiendo puntos. Por ejemplo, en los mundiales de motociclismo y automovilismo se otorga un número de puntos al ganador de cada carrera, unos pocos menos al segundo clasificado, menos aún al tercero, etcétera. De esta forma se evita que un piloto que ha ganado cuatro carreras y no ha corrido las quince restantes se proclame campeón frente a alguien que ha quedado segundo en todas las carreras.

Probemos esta solución. Vamos a usar una escala del cero al diez para cada atributo, siendo diez el valor perteneciente al mejor dato en la escala de ese atributo y cero el valor correspondiente al peor dato en la escala. Obsérvese que el diez no siempre corresponde al valor más alto pues hay atributos (precio, consumo) que nos interesa que sean lo más pequeñas posibles. En nuestro caso tendríamos:

Puntos CV Consumo combinado Equipamiento Equipamiento de seguridad Precio
01006,220828.850
102004,9451519.575

Por lo que nuestra clasificación quedaría así:

Coche CV Consumo combinado Equipamiento Equipamiento de seguridad Precio Total
Ford Focus Trend 0 10 0 6 10 26
Mazda 3 Evolution 2 8 4 3 7 25
Seat León Xcellence Plus 5 8 6 6 3 29
Renault Megane GT Line 6 5 1 0 2 14
Honda Civic Prestige 8 3 10 10 0 31
Opel Astra GSiLine 10 0 7 10 0 27

Con este nuevo sistema el campeón es el Honda Civic Prestige, seguido del Seat León Xcellence y el Opel Astra GSiLine. El peor sería el Renault Megane GT Line.

Parece un buen sistema pero, como decía el señor Lobo en Pulp Fiction, no empecemos todavía con las felaciones mutuas. Examinemos detenidamente la columna de los caballos de potencia. ¿No ven algo raro?

Coche CV Puntos correspondientes
Ford Focus Trend1000
Mazda 3 Evolution1202
Seat León Xcellence Plus1505
Renault Megane GT Line1606
Honda Civic Prestige1828
Opel Astra GSiLine20010

El Opel Astra tiene el doble de puntos que el Seat León en lo que a potencia se refiere pero, en realidad, solo tiene un treinta y tres por ciento más de caballos que este último. Similarmente, el Renault Megane tiene tres veces más puntos de potencia que el Mazda 3 aun cuando el primero solo tiene un treinta y tres por ciento más de caballos que el segundo. No parece que eso sea correcto.

La aberración detectada se debe a la normalización mínimo-máximo que empleamos para escalar los valores a un valor entre cero y diez. Esta normalización tiene un problema adicional, a saber, que comprime la distancia entre los valores de manera que los valores atípicos son atenuados. En la práctica esto significa que si un coche es muchísimo más barato o muchísimo más eficiente que los demás su puntuación no reflejaría este hecho en toda su magnitud.

Vamos a intentar solventar los inconvenientes mencionados utilizando otro método de normalización, el llamado z-score. Este método transforma los datos a una distribución con media 0 y desviación estándar 1. Si un coche es mejor que la media en equipamiento tendrá un valor superior a 0. Si, por el contrario, tiene peor equipamiento que la media, su puntuación será un número negativo. La ventaja de este procedimiento es que se preservan tanto el rango como la dispersión de la serie por lo que los datos atípicos se verán reflejados de forma fiel.

Para que los datos de media y desviación estándar sean mínimamente fiables se necesitan al menos treinta observaciones por lo que si queremos usar z-score tendríamos que trabajar con, al menos, treinta vehículos. Sin embargo, vamos a simplificar y continuar con nuestros seis compactos. Recordemos, además, que para el consumo y el precio tenemos que cambiar el signo porque cuanto menores son estos valores más puntos se ganan.

Así pues, la clasificación usando z-score como método de normalización queda así:

Coche CV Consumo combinado Equipamiento Equipamiento de seguridad Precio Puntos
Ford Focus Trend -1,28 -1,04 -1,16 0,02 -1,45 0,07
Mazda 3 Evolution -0,75 -0,63 0,02 -0,15 -0,82 0,58
Seat León Xcellence Plus 0,06 -0,63 0,56 0,02 0,17 1,10
Renault Megane GT Line 0,32 0,17 -0,84 -0,32 0,52 -1,52
Honda Civic Prestige 0,91 0,78 1,52 0,28 1,04 0,89
Opel Astra GSiLine 1,39 1,58 0,66 0,28 0,93 -0,17

De acuerdo con esta clasificación el título de «mejor coche» va a parar al Seat León, seguido del Honda Civic y del Mazda 3. El peor clasificado vuelve a ser el Renault Megane.

Continuará.

lunes, 22 de octubre de 2018

En busca del coche perfecto (III)

La siguiente parada en nuestro viaje es el análisis bivariable, es decir, comparar los valores de unas características con otras. Mediante el examen simultáneo de dos atributos podremos comprobar si existe una asociación entre ellos y la fuerza de dicha asociación. También podremos comprobar qué diferencias hay entre las dos variables, así como su importancia. En este paso ya es posible empezar a poner a pruebas nuestros prejuicios y conjeturas.

Por ejemplo, ¿los coches más potentes son más caros? El saber común dicta que sí pero comprobemos si es cierto:


Vemos un correlación positiva moderada tirando a fuerte entre ambas variables, de manera que algo de verdad hay en nuestra hipótesis. Sin embargo, muchos puntos caen fuera de las bandas de confianza (de color gris) lo que significa que hay más factores que influyen en el precio.

Parece de suyo evidente que uno de tales factores sea el equipamiento. ¿Hasta qué punto es así?


Encontramos otra vez una correlación positiva moderada lo que significa, de nuevo, que nuestra hipótesis es verdadera en cierto grado. Sin embargo, la correlación entre equipamiento y precio es menor que la que hemos visto antes entre precio y potencia de lo que se deduce que, en lo que a coste se refiere, importa más la potencia del motor que el equipamiento.

En los gráficos anteriores se puede observar que para la misma potencia o cantidad de equipamiento hay precios diferentes. ¿A qué puede deberse esto? La primera respuesta que nos viene a la mente seguramente sea la marca ya que hay fabricantes cuyos automóviles, a igualdad en el resto de atributos, son más caros que el resto. ¿Cuáles son las marcas más caras y las más baratas? (clic para ampliar)


Skoda es, con diferencia, la marca más asequible mientras que Mercedes es la maś costosa, seguida de cerca por Infiniti. Cuando modelemos el precio utilizando regresión lineal veremos cuántos euros extra hay que abonar por cada una de estas marcas de lujo.

Más sabiduría convencional que podemos poner a prueba. ¿Los coches más potentes consumen más gasolina?

La respuesta es sí pero la correlación es débil. ¿Será que en el gasto de combustible influye más el peso que la potencia del motor?

Efectivamente, en lo que a consumo se refiere, el peso del vehículo importa más que la sus caballos.

Otra pregunta. ¿Es el precio del seguro más caro cuanto más caro es el coche?

Parece que sí pero no es una correlación fuerte. En realidad, como podemos ver a continuación, en el coste del seguro influye mucho más la potencia.



De todas las correlaciones existentes entre las variables las más fuertes son la que hay entre consumo combinado y emisiones de dióxido de carbono (0,92) y la existente entre potencia y velocidad máxima (0,85). No hay relación entre equipamiento y consumo extraurbano, ni entre el peso y la anchura del vehículo. La correlación negativa más grande es entre velocidad máxima y tiempo de aceleración de cero a cien kilómetros por hora y entre velocidad máxima y potencia. Es decir que, tal como era de esperar, los motores más potentes tardan menos en alcanzar los cien kilómetros hora.

Continuará.

lunes, 15 de octubre de 2018

En busca del coche perfecto (II)

Una vez hemos recopilado la información necesaria el siguiente paso es hacer un análisis de datos exploratorio. En román paladino esto significa familiarizarnos con los datos que tenemos, descubrir patrones y detectar anomalías, así como verificar nuestras suposiciones. Así pues, allá vamos.

Nuestro conjunto de datos consta de 102 coches definidos por 22 variables o características. La siguiente tabla muestra la información básica que necesitamos conocer acerca de estas últimas:

Variable Significado Unidad de medida
CocheIdentificador del vehículo (marca, nombre, acabado y, a veces, potencia)Texto
AcabadoNivel de acabado o versión, siendo 1 el más baratoNúmero entero positivo
CV Potencia del motorCaballos de vapor
CC CilindradaCentímetros cúbicos
Consumo urbanoConsumo urbano según el ciclo NEDCLitros por cada 100 kilómetros
Consumo extraurbanoConsumo extraurbano según el ciclo NEDCLitros por cada 100 kilómetros
Consumo combinadoConsumo en ciclo combinado según el ciclo NEDCLitros por cada 100 kilómetros
EmisionesEmisiones de dióxido de carbonoGramos por kilómetro
VmaxVelocidad máximaKm/h
AceleraciónAceleración de 0-100 Km/hSegundos
Par máximoPar máximo del motorNewtons/metro
PesoPeso en orden de marchaKilogramos
LongitudLongitudCentímetros
AnchuraAnchuraCentímetros
AlturaAlturaCentímetros
MaleteroCapacidad del maleteroLitros
MarcaFabricante del cocheTexto
EquipamientoNúmero de elementos de equipamiento no relacionados con la seguridad (por ejemplo, apoyabrazos, asientos calefactables), excluyendo aquellos que son comunes a todos los vehículos registradosNúmero entero positivo
Equipamiento seguridadNúmero de elementos de equipamiento relacionados con la seguridad (airbags, control de estabilidad o de frenada, sistemas de conducción autónoma, etcétera), excluyendo aquellos que son comunes a todos los vehículos registradosNúmero entero positivo
PrecioPrecio de venta recomendado según web del fabricante, sin descuentosEuros
Oferta posibleEl mejor precio que, en teoría, puede encontrarse en concesionariosEuros
SeguroPrima anual de un seguro a todo riesgo con franquiciaEuros

Primero hemos de estudiar cada una de una de estas variables por separado. Para ello nos serviremos, en lo que a variables numéricas se refiere, de técnicas estadísticas básicas como medias, cuartiles, medianas y desviación estándar. Para las variables de tipo texto usaremos una tabla simple. En ambos casos recurriremos a gráficos (histogramas y diagramas de caja) para ver mejor qué estamos manejando.

Comencemos echando un vistazo a cuántos coches tenemos de cada marca. Tengamos presente que se ha registrado cada combinación de acabado y motor disponible que satisface los criterios mencionados en el artículo anterior.




Alfa Romeo 5
Audi 4
BMW 2
Fiat 4
Ford 5
Honda 6
Hyundai 5
Infinity 2
Kia 10
Mazda 4
Mercedes 2
Opel 6
Peugeot 6
Renault 7
Seat 14
Skoda 5
Volkswagen 9
Volvo 7
Vemos que SEAT y Kia son las marcas que más variedad ofrecen, con catorce y diez modelos  respectivamente. En el lado opuesto, Infinity solo vende un motor de transmisión manual con dos acabados diferentes.

Examinemos ahora la potencia de los motores en nuestra base de datos.



Mínimo100
Primer cuartil116
Mediana125
Media128.8
Tercer cuartil140
Máximo200
Desviación estándar18.93915
Podemos observar que la potencia media ronda los 130 CV, y que la mayoría de los coches que tenemos registrados están entre 110 y 150 CV. El diagrama de caja muestra dos registros que se salen de lo normal, lo cual podría indicar un error en la grabación de los datos. Afortunadamente, no es el caso: esos puntos corresponden a las versiones del Honda Civic con motores de 186 CV y una versión del Opel Astra que tiene 200 CV.

A continuación, centrémonos en el precio.

Salta a la vista que hay tres grupos distintos: uno de coches baratos entre 15.000 y 17.000 euros, el grupo principal, cuyos precios se mueven entre los 18.000 y los 29.000 euros, y otro que seguramente corresponda a las marcas más exclusivas, con importes que parten de los 30.000 euros. El precio medio es 23.701 euros, situándose el grueso entre los 21.046 y los 26.552 euros.

Mínimo15701
Primer cuartil21046
Mediana23470
Media23701
Tercer cuartil26552
Máximo31575
Desviación estándar3681.217
Como decía al principio, hay que repetir este proceso para cada variable pero, por razones de tiempo y espacio, vamos a detenernos aquí. Nuestro coche medio sería así:

Acabado3
Aceleración 0-100 km/h9.72
Altura1500
Anchura1798
CC1342
CV128
Consumo combinado5.3
Consumo extraurbano4.6
Consumo urbano6.5
Emisiones123
Equipamiento de seguridad10
Equipamiento30
Longitud4341
Maletero387
Oferta posible20703
Par máximo212
Peso1296
Precio23701
Velocidad máxima202


Obviamente, este coche no existe como tal pero esta información nos será útil más adelante cuando tratemos de entender el precio de los automóviles.

Continuará.

lunes, 27 de noviembre de 2017

Pues qué bien (I)

Siempre que leo un libro anoto los datos que me resultan curiosos, las anécdotas interesantes y cualquier cosa graciosa. Es de esa colección de donde salen los contenidos de artículos como el de la semana pasada. Por qué lo guardo y por qué se lo hago llegar, no estoy seguro de saberlo. Seguramente a muy poca gente le interese saber que los osos tienen (durante su hibernación) altos niveles de colesterol, tanto del «malo» como del «bueno», y que las enfermedades cardíacas son poco frecuentes en los plantígrados. De hecho, la reacción más entusiasta de quien acaba de conocer este hecho probablemente sea encogerse de hombros y murmurar para sí «pues qué bien». Pero a mí me encantó saberlo.

Foto de Victor Carreon
Que yo recuerde siempre he sido así, aficionado a pequeñas píldoras de conocimiento sin utilidad práctica. Uno de mis blogs favoritos de la década anterior era curiosoperoinutil.com, un entretenido rincón donde se publicaban explicaciones científicas a hechos cotidianos (por ejemplo: ¿por qué la ropa mojada transparenta?) y datos curiosos en abundancia. Similar en espíritu pero más actual es pictoline.com, donde la información se presenta de forma visual para una digestión más fácil. En ambos casos, como les digo, se trata de información inútil para la vida diaria. Saber por el mero placer de saber.

Ahora bien, recordar datos, hechos y explicaciones no equivale automáticamente a conocimiento. Consideremos el caso de los datos, esto es, las cifras crudas. Es costumbre periodística presentar informaciones (especialmente numéricas, aunque no necesariamente limitadas a este tipo) cuya precisión y veracidad no quieren decir nada relevante. Josu Mezo, el autor de Malaprensa, llama a esto anecdatos:

Uno de los peligros que acechan al periodista es el de dar a las anécdotas mayor trascendencia de la que tienen. Los fenómenos sociales, como los naturales, no siguen ritmos absolutamente regulares, sino que tienen rachas, o bandazos, periodos más o menos cortos en los que se acumulan casos de un determinado fenómeno, o por el contrario, escasean esos mismos casos, sin que haya ningún motivo particular que lo explique. Desgraciadamente, no es infrecuente que un sólo evento espectacular, o una pequeña racha sea tratada en los medios como si reflejara algún tipo de tendencia, sin reconocer que se trata de una simple anécdota.
La manifestación más habitual de los anecdatos son números absolutos pequeños que se comparan solo con el año anterior. Esto lleva a inferencias erróneas porque, como escribe Mezo, las cifras pueden oscilar considerablemente por mero azar. Si, pongamos por caso, el año pasado hubo cuarenta casos de lo que sea y este año solo ha habido cuarenta, sostener que hay una tendencia a la baja sería una afirmación demasiado atrevida (y probablemente incorrecta).

Los datos sin contexto son una de las formas más fáciles de mentir con estadísticas. Consideremos, verbigracia, aquel estudio que encontró miles de bacterias en los teclados de una universidad. ¿Significa eso que deberíamos empezar a teclear con guantes de látex? Sin ser experto en enfermedades infecciosas creo que, a menos que tengan un sistema inmune deprimido y se dediquen a lamer el teclado y comerse lo que sale de él cuando se agita boca abajo, están a salvo. Lo que quiero decir es que el número de bacterias por sí mismo puede ser cierto pero irrelevante, pues lo que nos importa realmente es saber qué riesgo para la salud supone un teclado lleno de microbios, y eso depende también (por lo que yo sé) del tipo de bacteria y de la facilidad que tenga de abrirse paso en nuestro organismo. Quizá se entienda mejor con un ejemplo a modo de broma: da igual cuántos millones de bacterias mortales moren en el teclado de ese compañero de oficina que dedica su jornada a tomar café, pues no tendrán la oportunidad de subirse al huésped.

Otro ejemplo de datos sin contexto. Es un hecho que hubo más víctimas mortales en accidentes aéreos en 2014 que en 1960. ¿Significa eso que volar es cada vez menos seguro? Como ya sabrán, para responder a eso debemos considerar también el número de vuelos que tuvieron lugar cada año, el número de kilómetros recorridos por cada aeronave, el número de viajeros, etcétera. En este caso lo que necesitamos son proporciones, no números desnudos:

Calculating proportions rather than actual numbers often helps to provide the true frame. [...] News reports showed that 2014 was one of the deadliest years for plane crashes: 22 accidents resulted in 992 fatalities. But flying is actually safer now than it has ever been. Because there are so many more flights today than ever before, the 992 fatalities represent a dramatic decline in the number of deaths per million passengers (or per million miles flown). On any single flight on a major airline, the chances are about 1 in 5 million that you’ll be killed, making it more likely that you’ll be killed doing just about anything else—walking across the street, eating food (death by choking or unintentional poisoning is about 1,000 times more likely). The baseline for comparison is very important here. These statistics are spread out over a year—a year of airline travel, a year of eating and then either choking or being poisoned. We could change the baseline and look at each hour of the activities, and this would change the statistic.
Número de muertes o heridos, personas infectadas, empleos creados o destruidos, días de espera para ser operado, hectáreas quemadas en incendios... todos los datos necesitan ser comparados (con otras poblaciones, con otros años, con otros números totales) para ser comprendidos.

Los datos sin contexto pueden llevarnos a conclusiones equivocadas. ¿Puede ocurrir lo mismo con otras informaciones? ¿Es posible hacer deducciones erróneas a partir de hechos ciertos? Ustedes ya saben que sí. De hecho, es una de las herramientas clásicas de la propaganda política: airear los logros y esconder los errores para generar una opinión favorable hacia nosotros y hacer lo opuesto para crear rechazo hacia el contrario. O mostrar datos y hechos simplemente para centrar la conversación en lo que nos interesa, a sabiendas de que lo que vemos es todo lo que hay.

Esto es tan conocido que no requiere mayor comentario. Sencillamente viene a confirmar que, para obtener conocimiento, necesitamos no solo la información en sí, sino también el contexto adecuado para procesarla.

Continuará.

lunes, 14 de agosto de 2017

Breve guía del manipulador de gráficos

Sin más preámbulo, consideremos los siguientes cuatro conjuntos de datos, todos los cuales tienen la misma media para el valor x (9) y para el valor y (7,5):

I II III IV
x y x y x y x y
10.0 8.04 10.0 9.14 10.0 7.46 8.0 6.58
8.0 6.95 8.0 8.14 8.0 6.77 8.0 5.76
13.0 7.58 13.0 8.74 13.0 12.74 8.0 7.71
9.0 8.81 9.0 8.77 9.0 7.11 8.0 8.84
11.0 8.33 11.0 9.26 11.0 7.81 8.0 8.47
14.0 9.96 14.0 8.10 14.0 8.84 8.0 7.04
6.0 7.24 6.0 6.13 6.0 6.08 8.0 5.25
4.0 4.26 4.0 3.10 4.0 5.39 19.0 12.50
12.0 10.84 12.0 9.13 12.0 8.15 8.0 5.56
7.0 4.82 7.0 7.26 7.0 6.42 8.0 7.91
5.0 5.68 5.0 4.74 5.0 5.73 8.0 6.89

¿Ven algo curioso? Probablemente no. Sin embargo, al representar los datos de forma gráfica las particularidades de cada conjunto saltan a la vista, literalmente:


El lector versado en estadística habrá reconocido, ya al ver las tablas de números, el cuarteto de Anscombe, llamado así por Francis Anscombe, quien lo alumbró en 1973 para recalcar la importancia de representar los datos gráficamente, así como la forma en la que los valores atípicos afectan a medidas como la media y la varianza.

El cuarteto de Anscombe es un buen ejemplo de cómo nuestro cerebro evolucionó para detectar patrones visuales, y cómo se atasca cuando se topa con un puñado de números escritos:

The human brain did not evolve to process large amounts of numerical data presented as text; instead, our eyes look for patterns in data that are visually displayed. The most accurate but least interpretable form of data presentation is to make a table, showing every single value. But it is difficult or impossible for most people to detect patterns and trends in such data, and so we rely on graphs and charts. Graphs come in two broad types: Either they represent every data point visually (as in a scatter plot) or they implement a form of data reduction in which we summarize the data, looking, for example, only at means or medians.
Los gráficos aprovechan el ancho de banda de nuestro sistema visual para transmitir una buena cantidad de información en un instante, lo cual agradecemos muy mucho. De paso satisfacen nuestra sed de brevedad, con la ventaja añadida de la autoridad que confieren los datos, algo que consideramos prístino y de bordes nítidos. Sin embargo, ya vimos que los números son turbios y difusos, y los gráficos añaden al arsenal del manipulador formas adicionales de distorsionar o falsificar los datos. Veamos a continuación algunas de tales estratagemas.

Comencemos por un gráfico que se ha convertido en un clásico, presentado por el presidente de Apple, Tim Cook:


Este gráfico tiene varios trucos. Para empezar, no hay escala en el eje vertical, así que no sabemos qué se está representando en realidad. ¿Unidades vendidas? ¿Dólares recaudados? Lo bueno de no etiquetar los ejes es que nos permite representar cualquier cosa.

La segunda treta en este ejemplo es que se trata de un gráfico acumulativo, los cuales, por definición, siempre muestran un incremento. Tomando datos de la SEC, David Yanofsky creó un gráfico de barras que muestra la versión no acumulativa, en el que puede verse cómo las ventas de iPhone habían descendido en los años anteriores a los que tuvo lugar la presentación.


Pasemos a otra argucia clásica: el eje truncado. Normalmente, lo honesto es que el valor del eje y empiece en cero. Sin embargo, si queremos exagerar las diferencias podemos empezar en una cifra cercana al valor mínimo que se está dibujando. Esta semana me he topado con el siguiente ejemplo:


Esta sería la versión honesta, con la escala empezando en cero:


Relacionado con esto, a alguien de El Heraldo de Aragón se le ocurrió darle una vuelta de tuerca al truco y tuvo la brillante idea de emparejar dos gráficos de ejes truncados y escalas diferentes:


Si leen las cifras, observarán que los alumnos cayeron aproximadamente un treinta por ciento, y que los profesores e investigadores aumentaron un cincuenta por ciento, lo cual no concuerda con el patrón que se infiere únicamente mediante las líneas de las gráficas.

En 2014, El Mundo publicó esta otra versión de gráficos agrupados con ejes truncados:


Fíjense en las distancias entre los valores de El País y El Mundo y compárenlas con las que separan los datos de El Mundo con los de Abc. Concretamente, observen marzo en el gráfico superior y agosto en el gráfico inferior. Notarán que la distancia visual no corresponde en absoluto con la real.

Hay quien prefiere juntar dos gráficos en uno en lugar de situarlos uno al lado del otro para mostrar una correlación (o ausencia de ella). Para ello se pueden dibujar dos ejes verticales tal que así:


Es un gráfico publicado por Forbes en Mayo de 1990. Pareciera por la imagen que incrementar el gasto por estudiante (línea blanca) no tiene efecto en la nota del SAT (la prueba de admisión a la universidad en Estados Unidos). Sin embargo, basta con cambiar la escala de uno de los ejes verticales para que parezca lo contrario:



Examinemos a continuación estas dos gráficas tomadas de un libro de Daniel Levitin:


Como vemos, la discontinuidad en el eje horizontal de la segunda gráfica produce la impresión de que el crimen ha aumentado rápidamente. Esto ocurre porque los gráficos no tienen la misma escala y el de la derecha, en la discontinuidad, agrupa datos de cinco años en el mismo espacio horizontal que ha usado hasta ese punto para representar solo dos.

El propio Levitin muestra a continuación una versión aún más malintencionada:


Aquí, las marcas del eje vertical pasan de representar intervalos de cuarenta a solo ocho, lo que produce la curva que se aprecia visualmente. El periódico El País publicó en su día un gráfico de este tipo, en el que el eje de abscisas no respeta las proporciones en las distancias entre los años, dando lugar a una escala que cambia tres veces:


Lo bueno es que la inclinación de las curvas de un gráfico se puede alterar sin necesidad recurrir a trucos como los anteriores, basta con utilizar intervalos de tiempo diferentes. Supongamos que queremos impresionara a alguien con la cantidad de productos vendidos desde 2010 a 2015. Podríamos mostrar este gráfico:

O este otro:

¡Voilá! Solo con incluir en la gráfica años para los que no tenemos datos la pendiente ha aumentado, lo que da la impresión de que las ventas han crecido mucho más rápido de lo que lo han hecho en realidad.

Fue el escocés William Playfair quien creó, a finales del siglo XVIII y principios del XIX, los gráficos de barras, áreas, líneas y sectores a los que estamos acostumbrados hoy día. Es innegable que sus creaciones comunican mucho mejor un conjunto de datos que cualquier tabla de texto pero también es cierto que los gráficos estadísticos son un lenguaje lleno de sutilezas con el que hay que tener mucho cuidado para no dar a entender una idea equivocada.

Además, con las gráficas, cuanta menos atención presta la audiencia más fácil es engañarla. Políticos, economistas, periodistas, publicistas y vendedores lo saben bien. Es por ello que toda representación visual de un conjunto de datos hay que procesarla despacio y con el mismo escepticismo que cualquier estadística, comprobando las manipulaciones más obvias y preguntándonos quién lo dice, cómo lo sabe, qué falta, y si tiene sentido.