⇧ [VIDÉO] Vous pourriez également aimer ce contenu partenaire
Un groupe d’employés actuels et anciens d’OpenAI a publié une lettre ouverte avertissant une fois de plus des problèmes de sécurité liés à la technologie. Ils dénoncent une sous-estimation des risques et une ruée inconsidérée dans la course à l’IA généraliste (GAI) de la part de l’entreprise. On estime qu’il y a environ 70 % de chances que l’IA nuise de manière catastrophique à l’humanité en raison de négligences en matière de sécurité.
Alors que la technologie évolue à une vitesse fulgurante, l’IA fait l’objet d’un débat permanent sur les risques qu’elle pourrait présenter pour la société. Promu pour bientôt égaler, voire dépasser, la plupart des compétences humaines, de nombreux experts estiment que cela pourrait nuire à l’humanité de nombreuses manières.
Ces risques vont par exemple des pertes massives d’emplois à la perte de contrôle de systèmes d’IA autonomes, qui pourraient prendre des décisions très préjudiciables, en passant par la manipulation de l’information ou la désinformation. Les entreprises d’IA elles-mêmes et les pionniers de la technologie, ainsi que d’autres experts, ont reconnu ces risques.
Cependant, malgré les avertissements, OpenAI semble avoir établi une inquiétante culture d’imprudence dans le processus de développement de ses outils. Un groupe de neuf anciens et actuels employés de l’entreprise a cosigné une lettre ouverte dénonçant ses pratiques de sécurité douteuses. Parmi les signataires de la lettre figurent également un ancien et actuel employé de Google DeepMind. Il est également soutenu par trois pionniers de l’IA : Geoffrey Hinton, Yoshua Bengio et Stuart Russell.
Les membres du groupe affirment que même si certaines normes de sécurité sont mises en place par l’entreprise, elles sont loin d’être suffisantes par rapport à l’ampleur des impacts potentiels. En revanche, le groupe dénonce l’entreprise qui privilégie les bénéfices et la croissance avant la sécurité. Il établit également une politique stricte et restrictive pour ceux qui souhaitent soulever des problèmes de sécurité.
” OpenAI est vraiment enthousiasmé par la création de l’AGI et se précipite imprudemment pour être le premier », a déclaré à New York Times Daniel Kokotajlo, l’un des signataires et ancien chercheur au sein de la division gouvernance d’OpenAI. Ce dernier a démissionné en avril de cette année, affirmant qu’il avait perdu confiance dans l’engagement de l’entreprise à se comporter de manière responsable en matière de technologie. Ses années passées chez OpenAI lui ont permis de tirer un constat alarmant.
Négligence importante en matière de sécurité
Embauché chez OpenAI en 2022, Kokotajlo était chargé de prévoir les avancées de l’IA et ses impacts potentiels. Il avait initialement estimé que l’AGI pourrait être disponible d’ici 2050. Cependant, après avoir constaté à quelle vitesse la technologie évolue, il estime désormais qu’il y a 50 % de chances qu’elle soit disponible d’ici 2027, soit dans trois ans seulement. Selon ses prédictions, il y aurait également 70 % de chances que cette version ultra-avancée de l’IA nuise de manière catastrophique à l’humanité (une statistique surnommée « p(doom) »), compte tenu des failles de sécurité.
Bien que l’entreprise dispose d’un protocole de sécurité, celui-ci est soit insuffisant, soit pas strictement appliqué. En 2022, Microsoft, par exemple, a testé discrètement une nouvelle version de son moteur de recherche Bing en Inde, alimentée par une version alors inédite de GPT-4. Selon Kokotatjlo, ce test a été réalisé alors que ce dernier n’avait pas encore obtenu l’aval de la commission de sécurité. Microsoft a confirmé ces allégations après les avoir initialement niées.
Cependant, après avoir fait part de ses inquiétudes à Sam Altman lui-même, le PDG d’OpenAI, l’entreprise n’a pas fait beaucoup de progrès en termes de protocoles de sécurité et de transparence. En effet, selon la lettre ouverte qu’il a cosignée, « les sociétés d’IA disposent d’informations non publiques importantes sur les capacités et les limites de leurs systèmes, l’adéquation de leurs garanties et les niveaux de risque de différents types de dommages. Cependant, ils n’ont actuellement que de faibles obligations de partager certaines de ces informations avec les gouvernements, et aucune avec la société civile. »
Voir aussi
Perdant tout espoir d’être entendu, il a finalement quitté son poste. Alors que les systèmes d’IA progressent vers une intelligence de niveau humain, « le monde n’est pas prêt, et nous ne le sommes pas non plus. Et je crains que nous avancions sans réfléchir ni rationaliser nos actions », a-t-il écrit dans un e-mail partagé par le New York Times.
Des accords de confidentialité (très) stricts imposés aux salariés
A noter que l’entreprise fait également signer un accord de non-dénigrement aux salariés qui partent, sous peine de perdre leur capital acquis. Cet accord consiste, entre autres, à ne pas divulguer d’informations négatives sur l’entreprise. Kokotajlo a quitté l’entreprise au risque de perdre un capital accumulé d’environ 1,7 million de dollars.
” De larges accords de confidentialité nous empêchent d’exprimer nos préoccupations, sauf aux entreprises mêmes qui ne parviennent pas à résoudre ces problèmes. “, a écrit le groupe dans la lettre ouverte. Cependant, OpenAI a récemment nié cette allégation et a déclaré qu’elle n’avait jamais récupéré le capital d’anciens employés et qu’elle n’envisageait pas de le faire… L’entreprise a également déclaré qu’elle supprimerait les clauses de non-dénigrement.
Dans sa lettre, le groupe d’employés et ex-employés réclame une politique plus ouverte de la part de l’entreprise, ainsi qu’un plus grand engagement en matière de sécurité et de responsabilité par rapport à la technologie. Suite à la publication de la demande, OpenAI a publié une récente mise à jour à cet effet. ” Nous convenons qu’un débat rigoureux est crucial compte tenu de l’importance de cette technologie et nous continuerons à collaborer avec les gouvernements, la société civile et d’autres communautés à travers le monde. », ont conclu les responsables dans le communiqué.
