Deux

Rapports scientifiques volume 13, Numéro d'article : 11658 (2023) Citer cet article

173 Accès

Détails des métriques

L'apprentissage fédéré permet à plusieurs nœuds d'effectuer des calculs locaux et de collaborer pour effectuer des tâches d'apprentissage automatique sans centraliser les données privées des nœuds. Cependant, les opérations fréquentes de téléchargement/téléchargement de gradients de modèle requises par le framework entraînent des coûts de communication élevés, qui sont devenus le principal goulot d'étranglement de l'apprentissage fédéré à mesure que les modèles approfondis évoluent, ce qui entrave ses performances. Dans cet article, nous proposons un algorithme de compression quantifiée accumulée (TLAQC) à deux couches qui réduit efficacement le coût de communication de l'apprentissage fédéré. TLAQC y parvient en réduisant à la fois le coût de la communication individuelle et le nombre de cycles de communication mondiaux. TLAQC introduit une méthode de quantification révisée appelée RQSGD, qui utilise une correction de valeur nulle pour atténuer les phénomènes de quantification inefficaces et minimiser les erreurs de quantification moyennes. De plus, TLAQC réduit la fréquence de téléchargement des informations sur les gradients grâce à un mécanisme d'auto-inspection des paramètres et des seuils adaptatifs, réduisant ainsi davantage les coûts de communication. Il accumule également des erreurs de quantification et des deltas de poids retenus pour compenser la perte de connaissances sur le gradient. Grâce à la correction de quantification et à l'accumulation à deux couches, TLAQC réduit considérablement la perte de précision causée par la compression des communications. Les résultats expérimentaux démontrent que RQSGD atteint une incidence de quantification inefficace aussi faible que 0,003 % et réduit l'erreur de quantification moyenne à 1,6 × \({10}^{-5}\). Par rapport à FedAVG pleine précision, TLAQC compresse le trafic téléchargé à seulement 6,73 % tout en augmentant la précision de 1,25 %.

Avec les progrès rapides des technologies émergentes telles que l'Internet des objets (IoT) et l'informatique de pointe, le volume de données générées à la périphérie du réseau a augmenté de façon exponentielle. Une quantité importante de données précieuses est distribuée sur différents terminaux. Les méthodes traditionnelles d'apprentissage en profondeur nécessitent généralement un stockage centralisé des données de formation, ce qui pose des défis pour parvenir à une intégration centralisée des données dans des environnements naturels. Cette situation conduit à la formation d’« îlots de données » et crée des barrières entre les sources de données. En 2016, Google a introduit le concept d'apprentissage fédéré spécialement conçu pour les appareils mobiles. L’apprentissage fédéré1,2 est apparu comme une solution pour résoudre dans une certaine mesure le problème des îlots de données. McMahan et al.3 ont décrit le cadre d'apprentissage fédéré pour les tâches d'apprentissage en profondeur et ont proposé l'algorithme bien connu FedAVG (Federated Averaging Algorithm). L'aspect clé de l'apprentissage fédéré est qu'il élimine le besoin de partager des données privées entre les nœuds, leur accordant ainsi un contrôle total sur leurs données stockées localement. Dans une architecture de serveur de travail typique4,5,6,7,8, les nœuds de travail téléchargent leurs informations de formation de modèle local (telles que les gradients ou les mises à jour de paramètres) sur un serveur central. Le serveur utilise les informations téléchargées depuis les nœuds de travail pour mettre à jour le modèle global à l'aide d'un algorithme d'agrégation.

Cependant, d’une part, l’apprentissage fédéré nécessite un grand nombre de communications entre les nœuds pour obtenir une bonne précision du modèle ; D’autre part, avec l’augmentation continue de l’échelle du deep learning, le nombre de paramètres du modèle a explosé, ce qui augmente fortement le coût par communication de l’apprentissage fédéré. Limitée par les conditions du réseau et la bande passante, la limitation des coûts de communication empêche de nombreux nœuds périphériques de participer à l'apprentissage fédéré. Le coût élevé des communications est devenu le principal goulot d’étranglement de l’apprentissage fédéré. Pour relever le défi des coûts de communication élevés dans l'apprentissage fédéré, les chercheurs ont proposé diverses méthodes de compression des communications visant à réduire les frais de communication dans l'apprentissage fédéré et l'apprentissage automatique distribué. Ces méthodes visent à alléger le fardeau de la communication tout en maintenant ou en améliorant la performance globale du processus d'apprentissage fédéré.