Selección de variables en modelos de regresión

Abstract

La selección de variables es un tema de gran relevancia, especialmente en contextos donde la abundancia de posibles covariables dificulta la integración en modelos. Los métodos para esta selección se dividen en aquellos que asumen una estructura de modelo conocida, típicamente lineal, y aquellos que dependen únicamente de la naturaleza de las variables involucradas (respuesta y covariables). En la primera categoría se encuentran enfoques clásicos como la regresión Stepwise y técnicas más modernas como la regresión LASSO, aplicables a modelos lineales. La segunda categoría incluye métodos como mRMR (minimum Redundancy Maximum Relevance) y algoritmos basados en correlación de distancias. Este trabajo tiene como objetivo presentar estas técnicas y analizar su eficacia mediante ejemplos de simulación y datos reales.

Variable selection is a highly relevant topic, particularly in contexts where an abundance of potential covariates complicates model integration. Methods for selection can be categorized into those assuming a known model structure, typically linear, and those relying solely on the nature of involved variables (response and covariates). Classic approaches like Stepwise regression and modern techniques such as LASSO fall into the former category, applicable to linear models. The latter category includes methods like mRMR (minimum Redundancy Maximum Relevance) and distance correlation-based algorithms. This paper aims to introduce these techniques, analyzing their efficacy through simulations and real-world data examples.

A selección de variables é un tema de gran relevancia, especialmente en contextos nos que a abundancia de posíbeis covariables complica a integración en modelos. Os métodos para esta selección divídense en aqueles que asumen unha estrutura de modelo coñecida, tipicamente lineal, e aqueles que dependen exclusivamente da natureza das variables implicadas (resposta e covariables). Na primeira categoría atopamos enfoques clásicos como a regresión Stepwise e técnicas máis modernas como a regresión LASSO, aplicables a modelos lineais. A segunda categoría inclúe métodos como mRMR (minimum Redundancy Maximum Relevance) e algoritmos baseados na correlación de distancias. Este traballo ten como obxectivo presentar estas técnicas e analizar a súa eficacia mediante exemplos de simulación e datos reais, explorando a súa aplicabilidade na práctica científica e analítica contemporánea.