Dans une récente étude GitHub, GitHub Copilot a été testé pour déterminer si l’assistant de codage IA aide les développeurs à écrire du code objectivement meilleur ou pire que le code écrit sans IA. Pour ce faire, GitHub a travaillé avec 202 développeurs Python, 104 codant avec Copilot et 98 sans. Les développeurs ont été chargés de créer un serveur Web d’avis sur les restaurants et d’évaluer ses fonctionnalités à l’aide de 10 tests unitaires.
Pour chacune des soumissions complétées, au moins dix développeurs ont parcouru le code ligne par ligne, sans savoir s’il avait été écrit avec ou sans l’aide de l’IA. Les 1 293 examens qui en ont résulté ont évalué la lisibilité, la fiabilité, la maintenabilité et la concision des exemples de code. De plus, les évaluateurs ont évalué si le code devait finalement être approuvé.
Les résultats de l’étude sont de bon augure pour l’utilisation de l’IA dans le codage, GitHub mettant en évidence quatre conclusions clés.
- Copilot a aidé les développeurs à réussir les dix tests unitaires 56 % plus souvent que les développeurs sans IA, ce qui a conduit à une fonctionnalité accrue.
- Le code assisté par Copilot est plus lisible et permet aux développeurs d’écrire en moyenne 13,6 % de lignes en plus sans rencontrer de problèmes de lisibilité.
- La lisibilité, la fiabilité, la maintenabilité et la concision se sont améliorées en moyenne de 3,29 %, la concision connaissant la plus grande amélioration (4,16 %).
- Le code assisté par copilote a été approuvé 5 % plus souvent que le code sans IA. Cela signifie qu’il faut moins de temps pour préparer le code pour la production.
Pour plus d’informations sur la méthodologie et les résultats de l’étude, consultez le billet de blog officiel GitHub dont le lien est ci-dessous.
