Optimización Estocástica y Método de Nelder-Mead

Impartido por:

Dr. Roberto Salas Zúñiga

Introducción:

El método simplex de Nelder-Mead es un algoritmo de búsqueda que se utiliza ampliamente en la optimización de sistemas no-lineales. Originalmente diseñado para optimización determinística, es un método robusto con respecto a pequeñas perturbaciones en los valores de la función. Este método también se usa para la optimización de funciones estocásticas, esto permite manejar situaciones más reales. Sin embargo al considerar una perturbación aleatoria en la función objetivo, el proceso de búsqueda puede terminar antes de alcanzar el óptimo de la esperanza de la función. El objetivo de este curso es proveer de las herramientas necesarias a los interesados para analizar las condiciones en el dominio, la función de costo y las perturbaciones para asegurar convergencia en el sentido fuerte de este algoritmo, así como algunas modificaciones que facilitan su aplicación , también se presentan ejemplos para reforzar el aprendizaje.

Contenido

Probabilidad
Introducción
Modelado
Procesos estocásticos
Convergencia
Débil
Fuerte

Teoremas básicos

Optimización
Optimización determinística
Optimización estocástica
Optimización Lineal / No lineal
Gradiente
Mínimos cuadrados
Método de Monte-Carlo
Búsqueda estocástica
Propiedades de los algoritmos de búsqueda
Método de Nelder-Mead
Modificaciones del método de Nelder-Mead

Aplicaciones

Sistemas de control adaptable
Redes neuronales
Diseños óptimos

Referencias

Ljubomir J. Buturovic, Back propagation and forward propagation, IEEE, 1992.

B.M. Kolundzija and D. I. Olcan, Antenna optimization using combination of random and Nelder-Mead simplex algorith, IEEE 2003.

C. Frangos and Y. Yavin, Current controller design for an electromagnetic actuator using an on-line parameter optimization approach, IEEE Transactions on industrial electronics, Vol. 38, No. 1. February 1991.

R. Barton, Modification of the nelder mead simplex…, Proceedings of the 1991 Winter Simulations Conference.

A. N. Shiryayev, Probability, Springer-Verlag New York, 1984.

Y. Z. Tsypkin, Foundations of the theory of learning systems, 1973 academic press.