Unidad 2 Algoritmos basados en gradientes

Descenso de gradiente estocástico a la función de Ackley con hiperparámetros multiples Su nombre Curso Otros datos Introducción El Descenso de Gradiente es una técnica de optimización popular en el Aprendizaje Automático y el Aprendizaje Profundo y se puede utilizar con la mayoría, si no todos, los algoritmos de aprendizaje (Pérez & Arco 2016). Un gradiente es la pendiente de una función. Mide el grado de cambio de una variable en respuesta a cambios en otra variable. Según Pérez y Arco (2016), el Gradient Descent es una función convexa cuya salida es la derivada parcial de un conjunto de parámetros de sus entradas. Cuanto mayor es el gradiente, mayor es la pendiente. Partiendo de un valor inicial, el Gradient Descent se realiza de forma iterativa para encontrar los valores óptimos de los parámetros con el fin de encontrar el mínimo valor posible de la función de coste dada. Normalmente, existen tres tipos de descenso de gradiente: 1) Gradiente de descenso por lotes 2) Gradiente de descenso estocástico 3) Gradiente de descenso por minilotes (Marblestone et al., 2016). En este estudio se utilizó el Descenso Gradiente Estocástico (SGD) para resolver una función Ackley simple. Descenso de gradiente estocástico La palabra “estocástico” se refiere a un sistema o proceso sujeto a probabilidades aleatorias. Por lo tanto, en el Descenso Gradiente Estocástico, algunas muestras se seleccionan aleatoriamente en lugar de todo el conjunto de datos para cada iteración. En el Descenso Gradiente, hay un término llamado “lote” que denota el número total de muestras de un conjunto de datos que se utiliza para calcular el gradiente para cada iteración. En