Métodos de selección de variables en modelos de regresión

Abstract

En los modelos de regresión uno de los problemas más comunes que nos podemos encontrar es el de seleccionar las variables que se deben incorporar al modelo. En este trabajo se estudian algunas de las técnicas más habituales y posteriormente se aplican a datos simulados. Primero se introducen los métodos clásicos, que seleccionan las variables mediante la construcción de distintos modelos y su posterior comparación utilizando algún criterio predefinido. A continuación, se muestra como utilizar la regresión LASSO como método de selección. Por último, se explica el método de máxima relevancia mínima redundancia y distintas formas de calcular sus parámetros, entre las que se incluye el uso de la correlación de distancias

The most common problem in regression models is the feature selection. In this project, some of the most used techniques are studied and later applied to simulated data. First, we introduce the classical methods, which select features making different models and comparing them using a predefined criterion. Then we show how to use LASSO regression as a selection method. Finally, maximun relevance minimum redundancy method is introduced and also different ways of calculating its parameters including the distance correlation.