Capítulo 20
Identificación/ajuste de modelos (sin dinámica)

Nota: Los contenidos de este capítulo requieren una revisión en profundidad de los conceptos básicos de estadística (Sección B.2) y de predicción lineal óptima mínimo-cuadrática, en la Sección B.5.

20.1 Mínimos cuadrados (caso estático)

[659: id1a]  Identificación, generalidades: modelos y su uso (simulación, observación, identificación paramétrica) ***  04:34

[660: id1b]  Identificación mínimos cuadrados lineal: propiedades estadísticas del estimado, matriz de información (Fisher) ***  19:54

[661: optimML]  Determinación de parámetros de un modelo probabilístico: ejemplo Matlab (max likelihood) ***  07:24

[662: id2]  Identificación (mínimos cuadrados, sistemas estáticos): MATLAB ***/ ****  20:51

[663: id3]  Ajuste de modelos no lineales estáticos ****  22:06

Caso de estudio (académico)

[664: rlce1]  Regresión lineal (caso estudio Matlab): centrado, escalado, pseudoinversa, modelo de predicción **  09:15

[665: rlce2]  Regresión lineal (caso estudio Matlab): error de predicción, varianza de parámetros estimados ****  13:28

[666: rlce3]  Regresión lineal (caso estudio Matlab): regresión por componentes principales PCR, simplificación de modelo *****  14:25

20.2 Mínimos cuadrados recursivos

20.2.1 Algoritmos recursivos sin olvido

[667: mcr1]  Mínimos cuadrados recursivos 1 (teoría, sin olvido) ***/ ****  11:18

[668: mcr1m]  Minimos cuadrados recursivos sin olvido: ejemplo Matlab ***  05:41

[669: mcrnr]  Mínimos cuadrados recursivos: relación con fórmula no recursiva (pseudoinversa) *****  07:43

Ejemplo adicional (relación con “regularización”): la regularización en un problema de mínimos cuadrados (minimizar $\parallel y_{N\times 1}-X_{N\times m}{𝜃}_{m\times 1}{\parallel }^2+\lambda \parallel 𝜃{\parallel }^2$), cuya solución es $\widehat{𝜃}={(X^{T}X+\lambda I)}^{-1}{X}^T\cdot y$ (equivalementemente, mediante lema inversión matrices, $\widehat{𝜃}=X^T{(X{X}^T+\lambda I)}^{-1}\cdot y$) puede ser entendida como un problema de mínimos cuadrados recursivos.

En efecto, si el estimado a priori de $𝜃$ es ${\widehat{𝜃}}_0\sim N(0,\gamma I)$, y el ruido de medida es $V=\eta I$, entonces se tiene, con el mismo lema de inversión de matrices que en los materiales del vídeo [ mcrnr(07:43)], que:

con lo que el parámetro de la regularización sería $\lambda =\eta ∕\gamma$.

20.2.2 Algoritmos con olvido (factor de olvido / filtro de Kalman)

[670: mcr2]  Mínimos cuadrados recursivos (II): incorporación de olvido (factor exponencial, filtro Kalman) ****  10:51

[671: mcr2m]  Mínimos cuadrados recursivos con olvido: ejemplo Matlab ****  14:23

Nota: Podría resultar de interés en este momento el comparar el código de los mínimos cuadrados recursivos con el del filtro de Kalman del vídeo [ kalml(33:33)], comprobando el paralelismo entre ambos.

[672: mcrsup]  Mínimos cuadrados recursivos: supervisión del factor de olvido *****  16:30

20.3 Mínimos cuadrados totales

[673: tls1]  Mínimos cuadrados totales TLS: teoría ****  19:15

20.3.1 Ejemplos Matlab

[674: tlsm]  Mínimos cuadrados totales TLS: ejemplo Matlab (estático) ****  12:37

[675: tls51]  Ejemplo mínimos cuadrados totales TLS 5 variables (Matlab) ***  15:35 *Link to English version

[676: tls52]  Ejemplo mínimos cuadrados totales TLS 5 variables (Matlab): sesgo con escalado incorrecto ****  11:53 *Link to English version

20.4 Otros índices de coste para regresión

[677: reglad]  Otros índices de coste para regresión: valor absoluto de error/parámetros (LP;QP) ***  11:49

20.5 Métodos Kernel

[678: kermot]  Problemas con gran número de variables por muestra: motivación al enfoque kernel ***  12:15

[679: ktrick]  Truco del Kernel (1): eliminación de espacio nulo, matriz de productos escalares ****  12:27

[680: ktrick2]  Truco del Kernel (2): selección de Kernel y construcción de modelo de regresión final ****  12:53

Esta es la idea detras de Kernel regression, Support Vector Machines, etc. que este material no aborda en profundidad por brevedad, pero que son técnicas de importancia en el machine learning introducidas en los años 1990.

20.5.1 Regresión mínimos cuadrados contraida (ridge-regression), versión Kernel

[681: kerls]  Métodos Kernel: ajuste (regresión) por mínimos cuadrados ****  08:55

[682: kerlsm]  Métodos Kernel: ajuste (regresión) por mínimos cuadrados, Ejemplo Matlab ****  14:51

[683: kstat]  Interpretación estadística de la regresión Kernel mínimos cuadrados, procesos gaussianos ****  

Nota: El siguiente ejemplo Matlab está muy relacionado con el ejemplo explicado en el vídeo [ krig2dm(09:25)].

[684: gaussp]  Regresión Kernel: interpretación estadística/filtro de Wiener (Matlab) *****  

[685: optimkern]  Optimización de hiperparámetros de un kernel (covarianza proc. estocástico) para regresión ****  12:57

[686: kcentra]  Centrado de Kernels ***  10:59

Nota: En los ejemplos de código anteriores, por simplicidad no se ha usado el Kernel centrado ni trasladar a media muestral cero los datos. Posiblemente deberían refinarse añadiendo dichos aspectos, o considerando modelos semiparamétricos (con media no nula, ordinary kriging), como se hace en la siguiente sección.

20.5.2 Regresión semiparamétrica (kernel+modelo con parámetros explícitos)

[687: semipar1]  Modelos semiparamétricos (Kernel+regresores): estimación de salidas y parámetros ****  07:53

[688: semipar2]  Modelos semiparamétricos (Kernel+regresores): notas adicionales *****  09:00

Caso de estudio

[689: semipcls]  Modelos semiparamétricos (Kernel+regresores): clase Matlab para ejemplos ****  07:39

[690: semipcaso]  Modelos semiparamétricos (Kernel+regresores): caso de estudio Matlab ****  14:40