AI Coding · 4 mondes · 12 étapes

Prompting

Des consignes claires, des réponses exploitables, et des mesures pour progresser.

Progression

0 %

0/12 étapes terminées

← Décryptages

Avancé · 9 min de lecture

Évaluer une consigne

Des chiffres plutôt que des impressions

1Définition

Une consigne se juge sur un jeu d'évaluation : des cas (une entrée et une vérification), un score, et la liste des échecs. Une grille pondère plusieurs critères. On compare les versions sur ces chiffres, et à score égal on préfère la moins coûteuse.

2Principes fondamentaux

Un jeu de cas

Varié, versionné avec le code, relancé à chaque changement.

Un score et des échecs

Le chiffre dit si c'est mieux ; les échecs disent quoi corriger.

Des critères pondérés

La justesse compte plus que la présentation.

Le coût compte

À score égal, la consigne la plus courte coûte moins à chaque appel.

3Exemples pratiques

Un cas vérifiable par le code

Exemple

1{ entree: "Les boucles", verifier: (s) => s.split(". ").length === 1 }

Une phrase, vérifiée en une ligne.

Un modèle juge

Exemple

1const verdict = await modele([2  { role: "system", content: "Note de 1 à 5 si le ton est encourageant. Réponds par le chiffre seul." },3  { role: "user", content: encadrer("reponse", sortie) },4]);

Pour un critère que le code ne sait pas vérifier ; à contrôler de temps en temps à la main.

4Erreurs courantes

Juger sur un exemple

À éviter

// j'ai essayé une fois, c'est mieux

À faire

Le score sur tout le jeu de cas

Pourquoi : Un exemple peut être chanceux.

Ne pas relancer tout le jeu

À éviter

// je reteste le cas corrigé

À faire

// je relance les 30 cas

Pourquoi : Une correction peut casser un autre cas.

Des critères tous égaux

À éviter

note = critères réussis / critères

À faire

note = poids obtenus / poids total

Pourquoi : Oublier l'exemple ne vaut pas un vouvoiement.

5Subtilités à connaître

◆Un modèle n'est pas déterministe : pour comparer deux consignes proches, on lance chaque cas plusieurs fois.
◆On garde un jeu « de régression » avec les bugs déjà corrigés, pour qu'ils ne reviennent pas.
◆Changer de modèle est un changement majeur : on relance toute l'évaluation avant.

6Vérifie ta compréhension

Question 1/3

Score 0

Qu'est-ce qu'un jeu d'évaluation ?

Envie d'essayer ? Ouvre le Labo et recopie les exemples pour les modifier.