Optimización bayesiana: probabilidad de mejora, ejemplo

Antonio Sala, UPV

Dificultad: **** ,       Relevancia: ,      Duración: 21:48

*Link to English version

Resumen:

Este video discute el significado de algunas funciones de adquisición en optimización bayesiana mediante un ejemplo. En particular, este primer video revisará la metodología básica y establecerá un ejemplo con cierta media, kernel de covarianza y conjunto de datos para trabajar en él. Si estás familiarizado con estos conceptos (si has visualizado [BOmot2], [BOmot3] y [boinop] ), puedes pasar a [09:00] cuando ya se ha explicado la revisión metodológica y la configuración de ejemplo.

Luego, se discute el significado de la heurística de “probabilidad de mejor” (PI, probability of improvement en la literatura en lengua inles) usada como función de adquisición de BO. En particular, se muestra que se encuentra en el “lado conservador” si hay buenas muestras (por debajo de la media): si quiero mejorar casi con certeza, debo descender un “pequeño paso” en dirección descendente (una especie de búsqueda por gradiente), y no alejarme demasiado de las buenas muestras para evitar que se acumule incertidumbre. Mejoraré con mucha probabilidad, pero, posiblemente, no saltaré rápido al mínimo global.

Otras opciones de funciones de adquisición adoptan una postura más “arriesgada”: es posible que no mejoren, pero cuando mejoran pueden mejorar mucho más que la propuesta de muestra basada en PI.