Ajuste de modelos para clasificación (3): ¿valen mínimos cuadrados?

Antonio Sala, UPV

Dificultad: *** ,       Relevancia: ,      Duración: 12:55

Resumen:

Este vídeo discute la aplicabilidad (bueno, más bien la NO aplicabilidad) de los mínimos cuadrados en clasificación; el vídeo es continuación de los vídeos [clasifintr1] y [clasifintr2].

Aunque los mínimos cuadrados para ajustar una función $f(x,𝜃)$ a datos de entrenamiento $\{-1,+1\}$ podrían ser razonables como una primera opción para empezar con el problema, adolecen de varios inconvenientes:

• El coste es ‘simétrico’, pero algunos problemas se abordan con coste asimétrico,

• Lo único que realmente importa en el ajuste es el signo de $f(x,𝜃)$ no su valor,

• Las distribuciones de probabilidad (o sus logaritmos) con resultados binarios (Bernouilly, o binomial si contamos varias repeticiones) no son proporcionales a ‘error al cuadrado’ como sí lo es el logaritmo de la distribución normal en mínimos cuadrados para ajuste de datos continuos (bajo ciertas suposiciones de error como ruido normal aditivo; ver vídeo [ls3i]).

Por ello, una solución ‘naive’ de aplicar ‘regresión lineal’ o, en general, optimizar un índice mínimo-cuadrático para datos binarios, podría no tener las prestaciones deseadas o no tener una interpretación estadística formalmente adecuada.