Évals pour applications LLM : mesurer avant de livrer
Arrêtez de deviner si votre prompt, votre modèle ou votre agent s’est amélioré. Construisez des jeux d’éval, des métriques, des juges LLM calibrés et des contrôles en CI qui vous le disent.
Beaucoup de fonctionnalités LLM partent en production au feeling : quelqu’un essaie cinq questions, ça a l’air bien, on livre. Puis une mise à jour de modèle ou un petit changement de prompt casse quelque chose que personne n’a testé. Ce cours vous donne l’habitude qui règle ça. Vous transformez de vraies tâches utilisateurs en jeu d’éval, choisissez des métriques adaptées, construisez un juge LLM et le vérifiez face à des annotations humaines, mesurez les agents étape par étape avec pass^k, et lancez le tout en CI pour que chaque changement ait un score. Vous terminez avec une suite d’évals pour votre propre application et un rapport d’une page à montrer à n’importe quelle équipe.
Ce que vous saurez faire
- Construire un jeu d’éval de 20 à 50 vraies tâches pour n’importe quelle fonctionnalité LLM
- Choisir des métriques adaptées à la tâche, et savoir quand un juge est nécessaire
- Calibrer un juge LLM face à des annotations humaines avant de lui faire confiance
- Bloquer les régressions en CI et comparer les modèles en coût, qualité et latence
Avant de commencer
- Bases de Python
- Avoir construit ou utilisé une fonctionnalité LLM
Programme du cours
- Pourquoi le feeling ne suffit pas: La liste des façons dont votre fonctionnalité peut échouer. Une carte des échecs pour une vraie fonctionnalité.
- Construire le jeu d’éval: 20 à 50 vraies tâches avec résultats attendus. Un jeu d’éval versionné dans votre dépôt.
- Choisir la bonne métrique: Notation exacte, approchée et par grille. Un script de notation qui tourne en quelques minutes.
- Le juge LLM: Un juge à grille vérifié face à vos annotations. Un taux d’accord à citer.
- Évals de RAG et d’agents: Contrôles de recherche, d’ancrage et de trajectoire avec pass^k. Un rapport par composant, pas un seul chiffre.
- Évals en CI et en production: Un job CI qui bloque les régressions, plus un échantillonnage en production. Un rapport d’éval d’une page pour votre application.
Toutes les formations en IA et machine learning