apprentissage fédéré pour lutter contre les préjugés

Plusieurs scandales ont éclaté ces dernières années, mettant en cause des systèmes d’aide à la décision basés sur l’intelligence artificielle (IA) qui produisent des résultats racistes ou sexistes. C’était le cas, par exemple, de l’outil de recrutement d’Amazon qui présentait un parti pris à l’égard des femmes, ou du système d’encadrement des soins hospitaliers dans un hôpital américain qui favorisait systématiquement les patients blancs par rapport aux patients noirs. En réponse au problème des biais dans les algorithmes d’IA et d’apprentissage automatique, des législations ont été proposées, comme l’AI Act dans l’Union européenne, ou le National AI Initiative Act aux États-Unis.

Un argument largement répété concernant la présence de biais dans les modèles d’IA et d’apprentissage automatique est qu’ils reflètent simplement une vérité fondamentale : les biais sont présents dans les données réelles. Par exemple, les données de patients atteints d’une maladie touchant spécifiquement les hommes aboutissent à une IA biaisée en faveur des femmes, sans que cette IA soit erronée.

Quand les biais de l’IA trahissent les inégalités sociales

Si cet argument est valable dans certains cas, il existe de nombreux cas où les données ont été collectées de manière incomplète et ne reflètent pas la diversité de la réalité du terrain, ou encore où les données incluent des cas statistiquement rares et qui seront sous-évalués. représentés, voire non représentés, dans les modèles d’apprentissage automatique. C’est le cas par exemple de l’outil de recrutement d’Amazon qui présentait un biais en faveur des femmes : parce que les femmes travaillant dans un secteur sont statistiquement peu nombreuses, l’IA qui en résulte rejette tout simplement les candidatures féminines.

Et si, plutôt que de refléter, voire d’exacerber une réalité actuelle dysfonctionnelle, l’IA pouvait être vertueuse et servir à corriger les préjugés de la société, pour une société plus inclusive ? C’est ce que proposent les chercheurs avec une nouvelle approche : « l’apprentissage fédéré ».

L’IA vertueuse : objectif ou utopie ?

Les systèmes d’aide à la décision basés sur l’IA sont basés sur les données. En effet, dans les approches traditionnelles de machine learning, les données issues de plusieurs sources doivent d’abord être transmises vers un référentiel (par exemple, un serveur sur le cloud) qui les centralise, avant d’exécuter un algorithme de traitement. du machine learning sur ces données centralisées.

Cela soulève cependant des questions en matière de protection des données. En effet, conformément à la législation en vigueur, un hôpital n’a pas le droit d’externaliser les données médicales sensibles de ses patients, une banque n’a pas le droit d’externaliser les informations privées des transactions bancaires de ses clients.

Par conséquent, pour mieux préserver la confidentialité des données dans les systèmes d’IA, les chercheurs développent des approches basées sur une IA dite « distribuée », où les données restent sur les sites propriétaires des données, et où les algorithmes de machine learning s’exécutent de manière distribuée sur ces différents sites. sites – c’est ce qu’on appelle aussi « apprentissage fédéré ».

Vers une IA décentralisée et data-friendly

Concrètement, chaque propriétaire de données (participant à l’apprentissage fédéré) entraîne un modèle local à partir de ses propres données, puis transmet les paramètres de son modèle local à un tiers qui réalise l’agrégation des paramètres de l’ensemble des modèles locaux ( par exemple via une moyenne pondérée en fonction du volume de données de chaque participant). Cette dernière entité produit alors un modèle global qui sera utilisé par les différents participants pour faire leurs prédictions.

Ainsi, il est possible de construire des connaissances globales à partir des données des autres, sans révéler ses propres données et sans accéder aux données des autres. Par exemple, les données médicales des patients restent dans chaque centre hospitalier qui en est propriétaire, et ce sont les algorithmes d’apprentissage fédéré qui s’exécutent et se coordonnent entre ces différents sites.

Construire un modèle global et efficace sans centraliser les données

Avec une telle approche, il sera possible pour un petit centre hospitalier situé sur une zone géographique moins peuplée que les grandes métropoles – et disposant donc de moins de données médicales que dans les grands hôpitaux, et par conséquent, disposant d’une IA a priori moins bien entraînée – de bénéficier d’une Une IA reflétant des connaissances globales, entraînée de manière décentralisée sur les données de différents centres hospitaliers.

D’autres cas d’application similaires peuvent être évoqués, impliquant plusieurs banques pour construire une IA globale de détection de fraude, plusieurs bâtiments intelligents pour déterminer une gestion énergétique appropriée, etc.

Les biais dans l’IA décentralisée sont plus complexes à comprendre

Par rapport à l’approche traditionnelle d’apprentissage automatique centralisé, l’IA décentralisée et ses algorithmes d’apprentissage fédéré peuvent, d’une part, exacerber davantage les préjugés et, d’autre part, rendre plus difficile la gestion des préjugés.

En effet, les données locales des participants à un système d’apprentissage fédéré peuvent avoir des distributions statistiques très hétérogènes (volumes de données différents, représentations différentes de certains groupes démographiques, etc.). Un participant contribuant à l’apprentissage fédéré avec un grand volume de données aura plus d’influence sur le modèle global qu’un participant disposant d’un petit volume de données. Si cette dernière se situe dans une certaine zone géographique qui représente un groupe social particulier, cela ne se reflétera malheureusement pas, ou très peu, dans le modèle global.

De plus, la présence de biais dans les données d’un des participants d’un système d’apprentissage fédéré peut provoquer la propagation de ce biais aux autres participants via le modèle global. En effet, même si un participant a pris soin de disposer de données locales impartiales, il héritera du biais présent chez les autres.

Et plus difficile à corriger

De plus, les techniques classiquement utilisées pour prévenir et corriger les biais dans le cas centralisé ne peuvent pas être appliquées directement à l’apprentissage fédéré. En effet, l’approche classique de correction des biais consiste principalement à prétraiter les données avant le machine learning afin que les données possèdent certaines propriétés statistiques et ne soient donc plus biaisées ?

Cependant, dans le cas de l’IA décentralisée et de l’apprentissage fédéré, il n’est pas possible d’accéder aux données des participants, ni d’avoir connaissance des statistiques globales des données décentralisées.

Dans ce cas, comment gérer les biais dans les systèmes d’IA décentralisés ?

Mesurer les biais de l’IA sans accès aux données décentralisées

Une première étape consiste à pouvoir mesurer les biais des données décentralisées parmi les participants à l’apprentissage fédéré, sans avoir un accès direct à leurs données.

Avec mes collègues, nous avons conçu une nouvelle méthode pour mesurer et quantifier les biais dans les systèmes d’apprentissage fédéré, basée sur l’analyse paramétrique de modèles locaux de participants à l’apprentissage fédéré. Cette méthode présente l’avantage d’être compatible avec la protection des données des participants, tout en permettant la mesure de plusieurs métriques de biais.

Capturer l’interdépendance entre plusieurs types de biais et les corriger dans l’IA décentralisée

Mais il peut aussi y avoir plusieurs types de biais démographiques, qui varient selon différents attributs sensibles (genre, race, âge, etc.), et nous avons démontré que l’atténuation d’un seul type de biais peut avoir pour effet collatéral l’augmentation d’un autre type. de biais. Il serait alors dommage qu’une solution visant à atténuer les préjugés raciaux, par exemple, provoque une exacerbation des préjugés sexistes.

Nous avons ensuite proposé une méthode multi-objectifs pour la mesure complète des biais et le traitement conjoint et cohérent de plusieurs types de biais apparaissant dans les systèmes d’apprentissage fédérés.

À propos de l’auteure : Sara Bouchenak. Professeur d’Informatique – INSA Lyon, INSA Lyon – Université de Lyon.
Cet article est republié à partir de The Conversation sous une licence Creative Commons. Lisez l’article original.