Diferenciación automática mediante grafos computacionales

Abstract

La Diferenciación Automática es una técnica de derivación que combina las ideas de la diferenciación simbólica y de la diferenciación numérica con el objetivo de evaluar de manera exacta derivadas de una función en un punto dado. Existen dos enfoques principales para su aplicación: el método progresivo y el método retrógrado. En este trabajo, nos centraremos principalmente en el segundo, aunque también se tratará el método progresivo, pero de manera introductoria, para contextualizar este nuevo tipo de diferenciación. Se estudiará el beneficio de utilizar el enfoque retrógrado en el cálculo de gradientes de funciones que dependan de multitud de variables, la extensión del método a varias variables independientes y a diferentes grados de derivación, así como la creación del grafo computacional necesario para proporcionar un código que permita su implementación en MATLAB. Por último, se explorarán sus aplicaciones prácticas como, por ejemplo, el cálculo de gradientes en los procesos de optimización de redes neuronales.

Automatic Differentiation is a differentiation technique that combines the ideas of symbolic and numerical differentiation with the goal of accurately evaluating derivatives of functions at given points. Two main approaches are typically used: forward mode and reverse mode. Although both will be discussed, the primary focus of this work is on the reverse mode, due to its advantages in scenarios involving functions with many input variables. The study explores the benefits of reverse mode for gradient computation, its extension to multiple independent variables and higher-order derivatives, and the construction of the computational graph required for its implementation in MATLAB. Finally, practical applications are examined, particularly in the context of gradient-based optimization processes, such as those used in training neural networks.