Optimización de hiperparámetros

Abstract

El objetivo de este trabajo es introducir al lector al problema de la optimización de hiperparámetros (HPO) desde las bases del aprendizaje automático, con especial atención al caso de las redes neuronales unidireccionales. Se comienza exponiendo de manera formal el funcionamiento de las neuronas artificiales y redes neuronales, particularizando el caso del perceptrón multicapa. Se continúa exponiendo el proceso de entrenamiento de una red, desde los algoritmos más sencillos hasta el archiconocido algoritmo de retropropagación. Tras esto, se presenta el concepto de hiperparámetro y se realiza una revisión de los principales hiperparámetros de una red. Se continúa definiendo formalmente el problema de HPO y se aportan los métodos más populares para abordarlo en la literatura científica. Por último se implementa una red neuronal sencilla utilizando el software R en la que se pondrá en práctica lo visto anteriormente.The objective of this work is to introduce the reader to the hyperparameter optimization (HPO) problem from the basics of machine learning, with special attention to the case of feedforward neural networks. It begins by formally explaining the functioning of artificial neurons and neural networks, focusing on the case of the multilayer perceptron. The training process of a network is then presented, ranging from simple algorithms to the well-known backpropagation algorithm. After this, the concept of hyperparameter is introduced, and a review of the main hyperparameters of a network is conducted. The HPO problem is formally defined, and the most popular methods to address it in the scientific literature are provided. Finally, a simple neural network is implemented using R software to put into practice what has been seen before