Aprendizaje profundo: una introducción para matemáticos

Abstract

[ES] En los últimos años el aprendizaje profundo ha supuesto un cambio notable en el reconocimiento de patrones en una (sonido), dos (imágenes) y tres (vídeo) dimensiones. Además de las aplicaciones derivadas del uso de redes neuronales artificiales, resulta de interés académico y práctico conocer las ideas y formalismo matemático que se esconden detrás de ellas. Cálculo Numérico, Teoría de la Aproximación, Optimización y Álgebra Lineal son necesarios para desarrollar adecuadamente esta teoría. En este trabajo vamos a presentar dos de las redes actuales, el Perceptrón Multicapa, que llamaremos de forma genérica Red Neuronal Artificial y la Red Neuronal Convolucional. En ambos casos se pretende mostrar qué son formalmente y cómo se entrenan. Para ello haremos uso de ejemplos que faciliten la comprensión del desarrollo teórico. Presentaremos los métodos del gradiente estocástico y mini-batch y el algoritmo de la propagación inversa. Para ilustrar las ideas expuestas elaboraremos varios programas con los que generar ambos tipos de redes para clasificar imágenes de menor a mayor complejidad. Con ello concluiremos que si bien las redes neuronales son una buena herramienta para la tarea de clasificación, todavía quedan múltiples cuestiones sin resolver en lo que se refiere a su estructura, aprendizaje y aplicabilidad en otros campos.

[EN] During the last years, deep learning has brought about a notable change in pattern recognition in one (sound), two (images) and three (video) dimensions. In addition to the applications derived from the use of artificial neural networks, it is of academic and practical interest to know the ideas and mathematical formalism that lie behind them. Numerical Calculus, Approximation Theory, Optimization and Linear Algebra are necessary to adequately develop this theory. In this work we are going to present two of the current networks, the Multilayer Perceptron, which we will generically call Artificial Neural Network and the Convolutional Neural Network. In both cases it is intended to show what they are formally and how they are trained. With this purpose in mind, we will use examples that help the understanding of the theoretical development. We will present the stochastic and mini-batch gradient methods and the backpropagation algorithm. To illustrate the ideas presented, we will develop several programs with which we will generate both types of networks to classify images from less to greater complexity. We will conclude that although neural networks are a good tool for the classification task, there are still many unresolved questions regarding their structure, learning and applicability in other fields.