Continual federated machine learning under concept drift

Abstract

A aprendizaxe federada é un paradigma de aprendizaxe automática que permite adestrar modelos de maneira distribuída, entre múltiples dispositivos, sen poñer en riscos a privacidade dos usuarios. O obxectivo desta tese é o de desenvolver novas estratexias de aprendizaxe federada que, mantendo tódalas vantaxes que esta tecnoloxía xa proporciona, permitan tamén lidar con escenarios continuos, en situacións non estacionarias suxeitas a derivas de concepto. As dúas contribucións máis importantes da tese son o método Concept-Drift-Aware Federated Averaging (CDA-FedAvg) e a arquitectura Ensemble and Continual Federated Learning (ECFL). Por unha banda, CDA-FedAvg permite o adestramento de redes neuronais profundas de maneira federada e ao longo do tempo, sendo ademáis capaz de detectar derivas de concepto e adaptarse a elas. Por outra banda, ECFL propón que o modelo federado sexa un comité, de xeito que estea composto de múltiples modelos locais independentes, un por cliente. Isto permite levar a cabo o adestramento federado sen restricións sobre o tipo de algoritmo de aprendizaxe a empregar, o que lle outorga á nosa proposta certa vantaxe en canto a simplicidade, flexibilidade e robustez. ECFL tamén está deseñada para aprender ao longo do tempo. Ademais, ao longo da tese avaliamos as nosas propostas teóricas en distintos casos de uso, incluíndo o recoñecemento da actividade humana en smartphones e a asistencia a usuarios en cadeiras de rodas robóticas.