Modelos gráficos e redes neuronais para a estimación da densidade en alta dimensión

Abstract

Os modelos gráficos son modelos estatísticos que se apoian na Teoría de Grafos para modelar interaccións complexas entre variables aleatorias. Neste traballo estúdanse as súas bases teóricas e a aplicación dos mesmos na estimación de densidade en contextos de alta dimensión. Comezamos introducindo as técnicas clásicas de estimación de densidade non paramétrica e ilustrando as dificultades que aparecen empregando un conxunto de datos real. A continuación, desenvólvese a teoría dos modelos gráficos, tomando como exemplo de referencia a máquina de Boltzmann restrinxida. A partir deste caso, preséntase NADE, un estimador que emprega redes neuronais para superar varias das dificultades que xorden coa máquina de Boltzmann restrinxida. Finalmente, compáranse experimentalmente mediante simulacións os modelos presentados ao longo do traballo e discútense os resultados e as liñas de investigación abertas.Graphical models are statistical models that rely on Graph Theory to model complex interactions between random variables. This project studies the theoretical basis of these models and their application to density estimation in high dimensional contexts. We first introduce the classical non-parametric density estimation techniques and illustrate the challenges that arise when using a real dataset. Then, the graphical models’ theoretical background is developed, taking the restricted Boltzmann machine as a reference example. Following this example, we present NADE, a distribution estimator that leverages neural networks to overcome several difficulties present in the restricted Boltzmann machine. Finally, we compare experimentally through simulation the presented models and discuss the results and open research directions.