Présentation de SkillEvaluator
Après un déplacement au Cambodge, je profite d’un moment d’attente pour explorer SkillEvaluator, un outil open source sous licence Apache 2.0 présenté par NVIDIA en août. Il permet de vérifier la conformité, la qualité et la sécurité des "skills" – des dossiers d’instructions exploités par des agents comme Claude Code ou Codex.
Fonctionnement des contrôles
SkillEvaluator réalise d’abord un contrôle statique : il analyse la structure du skill, son respect du schéma YAML et détecte d’éventuels problèmes de sécurité. Deux contrôles supplémentaires recherchent les doublons et exécutent un agent réel dans un conteneur Docker, une fois avec le skill et une fois sans, afin de mesurer l’impact réel. Le "harness‑check" prédit en une seconde, sans clé API NVIDIA et sans lancer d’agent, si les modèles Claude Code, Codex, Copilot CLI, Hermes, OpenClaw ou OpenCode chargeront correctement le skill.
Installation et utilisation
L’installation se fait simplement avec pip :
pip install skillevaluator skillevaluator tier1 ./mon-skill –no-llm –checks schema,quality
Le contrôle de schéma a échoué sur un fichier YAML contenant un deux‑points suivi d’un espace (ex. "relecture : là") non entouré de guillemets, ce qui a été corrigé en ajoutant des guillemets droits.
Le harness‑check indiquait que Codex ne chargerait pas un skill pourtant fonctionnel – il s’agit d’une prédiction à prendre avec prudence.
Pour les contrôles nécessitant un modèle et Docker, il faut installer les dépendances complètes et configurer les variables d’environnement :
LOGICIEL SUR MESURE POUR VOTRE ENTREPRISE OU ORGANISATION
Conception de logiciels sur-mesure pour Commerce, Logistique, Eau & Assainissement, RH, BTP, Santé & ONG. Solutions web et mobiles adaptées avec intégration IA
pip install "skillevaluator[all]"
export SKILL_EVAL_LLM_PROVIDER=nv_build
export NVIDIA_API_KEY='nvapi-…'
skillevaluator doctor –env-mode docker
Résultats obtenus
L’analyse a repéré un chemin utilisateur oublié (/Users/korben/) dans l’un des skills et six paires de skills trop similaires, ce qui peut créer de l’ambiguïté pour l’agent. L’étape OpenCode exécute plusieurs fois chaque skill dans Docker, avec et sans modifications, pour comparer les réponses. Exemple de rapport : 7 objectifs atteints sur 10 avec le skill activé, contre 5 sans le skill.
Conclusion
SkillEvaluator reste un outil de niche, mais il est très utile pour les développeurs qui créent des skills destinés à des agents IA. Il faut compter environ trente minutes par skill et, si l’on utilise NVIDIA Build, augmenter le budget du juge à 600 secondes (SKILL_EVAL_LLM_JUDGE_BUDGET_SEC=600) afin d’éviter les erreurs 429. À vous de tester et d’améliorer la robustesse de vos agents IA.
Source : Korben




