L’intelligence artificielle (IA) et les modèles d’apprentissage profond nécessitent des mises à jour périodiques pour s’adapter aux nouvelles tâches ou aux modifications des données. Cependant, ces mises à jour peuvent engendrer des coûts considérables en termes de ressources informatiques et de consommation énergétique. Comment pouvons-nous prévoir ces coûts pour rendre l’IA plus durable ? Voici la problématique abordée par une équipe de chercheurs qui propose une solution innovante
Les chercheurs ont développé une méthode appelée REpresentation Shift QUantifying Estimator (RESQUE) qui vise à prédire les coûts énergétiques et informatiques lors des mises à jour du modèle d’IA. Cette technique permet aux utilisateurs de prendre des décisions éclairées sur le moment et la manière de mettre à jour leurs modèles pour améliorer la durabilité de l’IA.
Types de modifications nécessitant des mises à jour
RESQUE compare l’ensemble de données initial sur lequel un modèle d’apprentissage profond a été formé avec le nouvel ensemble de données nécessaire à la mise à jour. Grâce à cette comparaison, il est possible d’estimer les coûts en termes de puissance de calcul et d’énergie. Les résultats sont présentés sous la forme d’un indice unique, qui peut être comparé à cinq métriques spécifiques : les époques, le changement de paramètre, la norme de gradient, le carbone et l’énergie.
Deux principaux types de changements peuvent justifier une mise à jour du modèle : transfert de tâches et le changement de distribution. Le transfert de tâches se produit lorsque la fonction du modèle doit être modifiée, par exemple pour identifier de nouveaux objets tels que des véhicules ou des piétons, en plus des numéros ou des symboles de signalisation précédemment reconnus.
Le changement de distribution, en revanche, se produit lorsque les données fournies au modèle changent, que ce soit par l’ajout de nouveaux types de données ou par un changement dans la manière dont elles sont codées. Ces changements nécessitent que l’IA soit mise à jour pour maintenir sa pertinence et son efficacité.
Les Bénéfices de RESQUE
Jung-Eun Kim, professeur adjoint d’informatique à l’Université de Caroline du Nord et auteur correspondant de l’étude, a déclaré : «Des études ont été menées pour rendre la formation des modèles d’apprentissage profond plus efficace. Cependant, au cours de leur cycle de vie, les modèles nécessiteront probablement plusieurs mises à jour.» Elle a souligné que « retravailler un modèle existant est bien plus rentable que de former un nouveau modèle à partir de zéro ». »
RESQUE permet non seulement de prévoir les coûts mais aussi de les contextualiser en termes de durabilité. Kim a ajouté : «Nous informons les utilisateurs de la quantité d’énergie, en kilowattheures, nécessaire pour retravailler le modèle, et nous prédisons la quantité de carbone, en kilogrammes, qui sera émise pour fournir cette énergie.»
Les chercheurs ont mené des expériences approfondies avec plusieurs ensembles de données, diverses distributions et compensations de tâches pour valider les performances de RESQUE. Les résultats ont montré que les prévisions de RESQUE correspondent étroitement aux coûts réels des mises à jour du modèle d’apprentissage profond.
Dans un avenir proche, RESQUE pourrait être utilisé par toute personne ayant besoin de mettre à jour un modèle d’apprentissage profond, facilitant ainsi la planification des ressources informatiques nécessaires et la prévision du temps requis pour la mise à jour. À plus long terme, cette méthode permet de mieux comprendre les coûts associés aux modèles d’IA tout au long de leur cycle de vie, contribuant ainsi à une gestion plus durable de l’IA.
Légende de l’illustration : crédit Igor Omilaev.
Article : ‘RESQUE : Quantification de l’estimateur vers le changement de tâches et de distribution pour une réutilisabilité durable du modèle’ – DOI : abs/2412.15511
Related News :