SkillEvaluator : tester et sécuriser les skills d’agents IA

2 min de lecture

SkillEvaluator : tester et sécuriser les skills d’agents IA

Présentation de SkillEvaluator
Après un déplacement au Cambodge, je profite d’un moment d’attente pour explorer SkillEvaluator, un outil open source sous licence Apache 2.0 présenté par NVIDIA en août. Il permet de vérifier la conformité, la qualité et la sécurité des "skills" – des dossiers d’instructions exploités par des agents comme Claude Code ou Codex.

Fonctionnement des contrôles
SkillEvaluator réalise d’abord un contrôle statique : il analyse la structure du skill, son respect du schéma YAML et détecte d’éventuels problèmes de sécurité. Deux contrôles supplémentaires recherchent les doublons et exécutent un agent réel dans un conteneur Docker, une fois avec le skill et une fois sans, afin de mesurer l’impact réel. Le "harness‑check" prédit en une seconde, sans clé API NVIDIA et sans lancer d’agent, si les modèles Claude Code, Codex, Copilot CLI, Hermes, OpenClaw ou OpenCode chargeront correctement le skill.

Installation et utilisation
L’installation se fait simplement avec pip :

pip install skillevaluator skillevaluator tier1 ./mon-skill –no-llm –checks schema,quality

Le contrôle de schéma a échoué sur un fichier YAML contenant un deux‑points suivi d’un espace (ex. "relecture : là") non entouré de guillemets, ce qui a été corrigé en ajoutant des guillemets droits.

Le harness‑check indiquait que Codex ne chargerait pas un skill pourtant fonctionnel – il s’agit d’une prédiction à prendre avec prudence.

Pour les contrôles nécessitant un modèle et Docker, il faut installer les dépendances complètes et configurer les variables d’environnement :

pip install "skillevaluator[all]"
export SKILL_EVAL_LLM_PROVIDER=nv_build
export NVIDIA_API_KEY='nvapi-…'
skillevaluator doctor –env-mode docker

Résultats obtenus
L’analyse a repéré un chemin utilisateur oublié (/Users/korben/) dans l’un des skills et six paires de skills trop similaires, ce qui peut créer de l’ambiguïté pour l’agent. L’étape OpenCode exécute plusieurs fois chaque skill dans Docker, avec et sans modifications, pour comparer les réponses. Exemple de rapport : 7 objectifs atteints sur 10 avec le skill activé, contre 5 sans le skill.

Conclusion
SkillEvaluator reste un outil de niche, mais il est très utile pour les développeurs qui créent des skills destinés à des agents IA. Il faut compter environ trente minutes par skill et, si l’on utilise NVIDIA Build, augmenter le budget du juge à 600 secondes (SKILL_EVAL_LLM_JUDGE_BUDGET_SEC=600) afin d’éviter les erreurs 429. À vous de tester et d’améliorer la robustesse de vos agents IA.

Source : Korben