Aspectos matemáticos del Concept Drift

Abstract

El procesamiento de datos en línea surge de la creciente necesidad de analizar y manipular grandes volúmenes de flujos de datos en tiempo real, que superan las capacidades del procesamiento de datos tradicional. En estos entornos dinámicamente cambiantes y no estacionarios, se produce el denominado Concept Drift, referido al cambio en la relación entre los datos de entrada y la salida (variable objetivo) a lo largo del tiempo, lo que obliga a los modelos predictivos a adaptarse a esta situación, aunque en algunos casos el cambio puede afectar únicamente a la relación entre las propias variables de entrada. En este TFG se abordarán diversos aspectos matemáticos necesarios para comprender y modelar este fenómeno: modelos de probabilidad, distribuciones para técnicas de detección de cambios, contrastes de hipótesis, inferencia no paramétrica, etc. Se analizarán distintas formas de abordar el fenómeno y cómo tratar este problema. Además, los contenidos teóricos irán acompañados de ilustraciones prácticas con datos reales y/o simulados. Este trabajo se desarrolla de forma complementaria a otro TFG del Grado en Ingeniería Informática, centrado en la revisión y evaluación de varios algoritmos presentes en la literatura para la detección de Concept Drift. Ambos estudios comparten una base experimental común, y la comparativa realizada en el trabajo informático se incluye en el desarrollo del presente estudio.