Identificación mínimos cuadrados lineal: propiedades estadísticas del estimado, matriz de información (Fisher)

Antonio Sala, UPV

Dificultad: *** ,       Relevancia: ,      Duración: 19:54

Resumen:

Dado un modelo matemático $f(y|𝜃)$, esto es, una probabilidad (condicional) de $y$ dado $𝜃$, se plantean tres tipos de definiciones de lo que podría ser la identificación de $𝜃$: puntual máxima probabilidad (moda), máxima probabilidad a posteriori (Bayes), o estimación bayesiana completa de función de probabilidad a posteriori.

Luego se abordan los mínimos cuadrados lineales:

– Identificación en ecuación lineal $y=X𝜃+v$, $v\sim N(0,\sigma )$.

– Equivalencia entre predicción de “máxima probabilidad” y “mínimos cuadrados” deterministas, y también con mejor predicción lineal (error de predicción no correlado con datos $X$). La mejor predicción lineal está discutida en el vídeo [preli1] y [preli2], y las tres interpretaciones [determinista (optimización) / geométrica (proyección) / estadística (mínima varianza)] de la fórmula de mínimos cuadrados están detalladas en el vídeo [ls3i] ( ).

– Mínimos cuadrados: pseudoinversa.

– matriz de varianzas-covarianzas de parámetros estimados.

– matriz de información (Fisher), componentes principales de $X$ y su interpretación. Identificabilidad.

– Disen~o de experimentos: qué hacer si hay poca información. Tomar más datos, redisen~ar experimento, simplificar el modelo (regularización). Véase un ejemplo de regularización en vídeo [impulidreg].

– Si la información es buena y ajuste malo: o bien modelo es bueno (pero ruido aleatorio grande), o bien el modelo no es correcto.

– Validación (training versus test data set).

– Compromiso entre error sistemático y variabilidad (bias/variance tradeoff). Sobreparametrización.

*Como curiosidad, estimar $y\approx 2x$ con mínimos cuadrados no implica que estimar el modelo inverso vaya a resultar $x\approx 0.5y$, ver vídeo [vcinv1].

Colección completa [VER]:

• Anterior   Identificación, generalidades: modelos y su uso (simulación, observación, identificación paramétrica)

• Siguiente Determinación de parámetros de un modelo probabilístico: ejemplo Matlab (max likelihood)