Méthodologie du benchmark
Un test comparatif, basé sur des demandes de programmation réelles, a été réalisé afin d’évaluer l’efficacité des agents de codage automatisés.
Résultats principaux
Les résultats montrent que les agents de code n’aboutissent complètement qu’à une minorité de missions. Le modèle GPT-6 Astra ne valide intégralement que 26,4 % des tâches qui lui sont confiées.
Détails par type de tâche
– Sur les tâches multimodales, le taux de validation atteint 41 %.
– Pour les missions liées aux dépôts de code, le taux est légèrement inférieur à 18 %.
Influence de l’environnement
Les performances varient fortement en fonction de l’environnement d’exécution. Cette variation est suffisante pour modifier l’ordre de classement des différents modèles testés.
Source : Brief IA
Service
Création de site web professionnel sur mesure pour PME
Création de sites web modernes et sur mesure pour PME, entreprises et organisations à partir de 95 000 FCFA
À partir de 95 000 F CFADécouvrir le service
