Interpretación estadística de la regresión Kernel mínimos cuadrados, procesos gaussianos

Antonio Sala, UPV

Dificultad: **** ,       Relevancia: ,      Duración:

Resumen:

En este material se presenta la interpretación estadística como mejor predicción lineal (mínimos cuadrados) de la regresión discutida en el vídeo [kerls], identificando las matrices del resultado final con varianzas-covarianzas. En efecto, del mismo modo que la regresión “determinista” en su versión clásica no-kernel tenía una interpretación estadística, también la tiene su versión Kernel.

El resultado (suponiendo distribución normal de las variables aleatorias interivinientes) es lo que se conoce como regresión “procesos gaussianos”: un conjunto infinito de variables aleatorias $f(x)$, uno para cada $x$ del dominio donde se dispone información, medidas con ruido $y=f(x)+v$, cuya covarianza o correlación es $\kappa (x,y)$. La función que genera el Kernel pasa a ser entendida como una función “generadora de covarianza”. Esto, en el caso unidimensional tiene una interpretación de “filtrado” en sistemas dinámicos: si $\kappa (x,y)=\tilde{\kappa }(\parallel x-y\parallel )$ la distancia significa exactamente lo mismo que la distancia “en tiempo” en un problema de filtrado cuya autocorrelación sea $\tilde{\kappa }$. La transformada de Fourier de $\tilde{\kappa }$ sería el power-spectral-density (según descrito en el vídeo [psd]) del filtro asociado al Kernel.

Colección completa [VER]:

• Anterior   Métodos Kernel: ajuste (regresión) por mínimos cuadrados, Ejemplo Matlab

• Siguiente Regresión Kernel: interpretación estadística/filtro de Wiener (Matlab)