Si, lorsque vous discutez avec un chatbot comme ChatGPT, vous avez le sentiment d’avoir une conversation aussi élaborée qu’avec un humain, c’est parce que l’intelligence artificielle (IA) a fait d’énormes progrès. Celles-ci ont été rendues possibles grâce au développement des grands modèles de langage (LLM), ces réseaux de neurones entraînés sur de gigantesques ensembles de données.
Cependant, « les développeurs LLM vont commencer à manquer de données conventionnelles pour entraîner leurs modèles », déclare Nature dans un long article. Ils ont déjà exploité presque toute l’information gratuite disponible sur Internet, et les LLM, toujours plus nombreux, deviennent de plus en plus voraces.
Selon des chercheurs d’Epoch AI, un institut de recherche qui se concentre sur les tendances et les grandes questions liées à l’IA, d’ici 2028, la taille de l’ensemble de données nécessaire à la formation d’un modèle sera équivalente à celle du stock total estimé de textes publics en ligne. En d’autres termes, dans environ quatre ans, il n’y aura plus suffisamment de données textuelles disponibles. Plus de progrès en IA ?
Pas nécessairement. Selon le magazine britannique, les entreprises spécialisées dans le secteur ne semblent pas paniquer face à cette limite annoncée. OpenAI et Anthropic ont déjà publiquement reconnu le problème, tout en suggérant qu’ils prévoient de le contourner, notamment en créant des données synthétiques à l’aide de l’IA ou en s’associant pour récupérer des données qui ne sont pas publiques.
Données privées ou replay
Cela pourrait passer par l’utilisation de messages WhatsApp ou de transcriptions de vidéos YouTube, par exemple. Au-delà de la question de légalité soulevée par cette solution, de nombreuses entreprises affirment ne pas vouloir partager leurs données afin de les utiliser pour entraîner leurs propres modèles d’IA, en interne. D’autres imaginent que les LLM existants pourraient apprendre de nouvelles choses en « relisant » les données sur lesquelles ils ont déjà été formés.
[…] En savoir plus sur le courrier international
