apprentissage fédéré pour combattre les préjugés

De nombreux scandales ont éclaté ces dernières années impliquant des systèmes d’aide à la décision par intelligence artificielle (IA) produisant des résultats racistes ou sexistes. C’était le cas, par exemple, de l’outil de recrutement d’Amazon, qui présentait un parti pris à l’égard des femmes, ou du système d’orientation en matière de soins hospitaliers dans un hôpital américain qui favorisait systématiquement les patients blancs par rapport aux noirs. En réponse au problème des biais dans l’intelligence artificielle et les algorithmes d’apprentissage automatique, des lois telles que l’AI Act dans l’Union européenne ou le National AI Initiative Act aux États-Unis ont été proposées.

Un argument largement répété concernant la présence de biais dans les modèles d’IA et d’apprentissage automatique est qu’ils reflètent simplement une vérité fondamentale : le biais est présent dans les données réelles. Par exemple, les données de patients atteints d’une maladie qui touche spécifiquement les hommes aboutissent à une IA biaisée en faveur des femmes, sans que cette IA soit erronée.

Quand les biais de l’IA trahissent les inégalités sociales

Si cet argument est valable dans certains cas, il existe de nombreux cas où les données ont été collectées de manière incomplète et ne reflètent pas la diversité de la réalité sur le terrain, ou encore où les données incluent des cas statistiquement rares et seront sous-estimés, voire sous-estimés. non représenté, dans les modèles d’apprentissage automatique. C’est le cas par exemple de l’outil de recrutement d’Amazon qui a montré un biais en faveur des femmes : comme il y a statistiquement peu de femmes travaillant dans un secteur, l’intelligence artificielle qui en résulte rejette tout simplement les candidatures féminines.

Et si au lieu de refléter, voire d’exacerber une réalité actuelle dysfonctionnelle, l’IA pouvait être vertueuse et servir à corriger les préjugés dans la société, pour une société plus inclusive ? C’est ce que proposent les chercheurs avec une nouvelle approche : « l’apprentissage fédéré ».

L’IA vertueuse : objectif ou utopie ?

Les systèmes d’aide à la décision basés sur l’IA sont basés sur les données. En effet, dans les approches traditionnelles de machine learning, les données provenant de différentes sources doivent d’abord être transmises vers un référentiel (par exemple un serveur cloud) qui les centralise, avant d’exécuter un algorithme de traitement de machine learning sur ces données centralisées.

Cependant, cela soulève des problèmes de protection des données. En effet, selon la législation en vigueur, un hôpital n’a pas le droit d’externaliser les données médicales sensibles de ses patients, une banque n’a pas le droit d’externaliser les informations privées des transactions bancaires de ses clients.

Ainsi, pour mieux préserver la confidentialité des données dans les systèmes d’IA, les chercheurs développent des approches basées sur une IA dite « distribuée », où les données restent sur les sites qui en sont propriétaires et où les algorithmes de machine learning s’exécutent de manière distribuée sur ces différents sites. sites – c’est ce qu’on appelle aussi « apprentissage fédéré ».

Vers une IA décentralisée et respectueuse des données

Concrètement, chaque propriétaire de données (participant à l’apprentissage fédéré) entraîne un modèle local à partir de ses données, puis transmet les paramètres de son modèle local à un tiers qui effectue l’agrégation des paramètres de tous les modèles locaux (par exemple via une moyenne pondérée basée sur sur le volume de données de chaque participant). Cette dernière entité produit alors un modèle global qui sera utilisé par les différents participants pour faire leurs prédictions.

Il est donc possible de construire une connaissance globale à partir des données des autres, sans révéler ses propres données et sans accéder aux données des autres. Par exemple, les données médicales des patients restent dans chaque centre hospitalier qui en est propriétaire et ce sont les algorithmes d’apprentissage fédéré qui s’exécutent et se coordonnent entre ces différents sites.

Construire un modèle global et efficace sans centraliser les données

Avec une telle approche, il sera possible pour un petit centre hospitalier situé dans une zone géographique moins peuplée que les grandes métropoles – et donc avec moins de données médicales que les grands hôpitaux, et par conséquent, avec une intelligence artificielle a priori moins entraînée – de bénéficier d’une L’intelligence artificielle reflète des connaissances globales, formées de manière décentralisée sur les données de différents centres hospitaliers.

D’autres cas d’application similaires peuvent être cités, impliquant plusieurs banques pour construire une intelligence artificielle globale pour la détection des fraudes, plusieurs bâtiments intelligents pour déterminer une gestion adéquate de l’énergie, etc.

Les biais dans l’IA décentralisée sont plus complexes à comprendre

Par rapport à l’approche traditionnelle d’apprentissage automatique centralisé, l’IA décentralisée et ses algorithmes d’apprentissage fédéré peuvent, d’une part, exacerber davantage les préjugés et, d’autre part, les rendre plus difficiles à gérer.

En effet, les données locales des participants à un système d’apprentissage fédéré peuvent avoir des distributions statistiques très hétérogènes (différents volumes de données, différentes représentations de certains groupes démographiques, etc.). Un participant contribuant à l’apprentissage fédéré avec un grand volume de données aura plus d’influence sur le modèle global qu’un participant disposant d’un petit volume de données. Si cette dernière est située dans une certaine zone géographique représentant un groupe social particulier, cela ne se reflétera malheureusement pas, ou très peu, dans le modèle global.

De plus, la présence de biais dans les données de l’un des participants à un système d’apprentissage fédéré peut provoquer la propagation de ce biais à d’autres participants dans l’ensemble du modèle. En effet, même si un participant a pris soin de disposer de données locales impartiales, il héritera des biais présents chez les autres.

Et plus difficile à corriger

De plus, les techniques classiquement utilisées pour prévenir et corriger les biais dans le cas centralisé ne peuvent pas être directement appliquées à l’apprentissage fédéré. En fait, l’approche classique de correction des biais consiste principalement à prétraiter les données avant le machine learning afin que les données possèdent certaines propriétés statistiques et ne soient donc plus biaisées.

Cependant, dans le cas de l’IA décentralisée et de l’apprentissage fédéré, il n’est pas possible d’accéder aux données des participants, ni d’avoir connaissance des statistiques globales des données décentralisées.

Si oui, comment lutter contre les préjugés dans les systèmes d’IA décentralisés ?

Mesurer les biais de l’IA sans accès aux données décentralisées

Une première étape consiste à pouvoir mesurer les biais de données décentralisés parmi les participants à l’apprentissage fédéré, sans avoir un accès direct à leurs données.

Avec mes collègues, nous avons conçu une nouvelle méthode pour mesurer et quantifier les biais dans les systèmes d’apprentissage fédéré, basée sur l’analyse paramétrique de modèles locaux de participants à l’apprentissage fédéré. Cette méthode présente l’avantage d’être compatible avec la protection des données des participants, tout en permettant la mesure de différents paramètres de biais.

Capturer l’interdépendance entre plusieurs types de biais et les corriger dans l’IA décentralisée

Mais il peut également exister différents types de biais démographiques, qui varient en fonction de différents attributs sensibles (sexe, race, âge, etc.), et nous avons montré que l’atténuation d’un seul type de biais peut avoir pour effet secondaire d’augmenter un autre type de biais. de préjugés. Il serait donc dommage qu’une solution visant à atténuer les préjugés raciaux, par exemple, provoque une exacerbation des préjugés sexistes.

Nous avons ensuite proposé une méthode multi-objectifs pour une mesure complète des biais et un traitement conjoint et cohérent des différents types de biais apparaissant dans les systèmes d’apprentissage fédérés.

À propos de l’auteure : Sara Bouchenak. Professeur d’Informatique – INSA Lyon, INSA Lyon – Université de Lyon.
Cet article est republié à partir de The Conversation sous une licence Creative Commons. Lisez l’article original.