Créer le script
Vous demandez à l'agent d'écrire score_results.py.
Workflows
Évaluation de modèles en machine learning
03
Noter les résultats par correspondance exacte
Vous écrivez un court script Python pour noter les résultats de votre benchmark. Pairwise LM crée le fichier, l'exécute dans Shell et affiche la sortie exacte. Vous examinez le diff avant d'accepter les modifications en mode Ask first.
Vérifier le diff
Vous consultez le diff dans la carte de discussion.
Exécuter la commande
L'agent exécute le script dans Shell et vous lisez le code de sortie réel.
Vérifier la sortie
Vous lisez le pourcentage de précision dans la sortie.
Exemple de script de notation
Écrivez un script pour noter ces résultats.
- write_file
score_results.pysauvegardé - Shell
python score_results.pyexit 0 - read_file
score_results.pylu - grep
correct2 correspondances
en attente de votre validation avant l’étape suivanteRefuserAccepter
score_results.py
results = [
("q1", "yes", "yes"),
("q2", "no", "maybe"),
("q3", "ok", "ok"),
]
correct = 0
for q, exp, ans in results:
if exp == ans:
correct += 1
print(correct)
print(len(results))Ce script note des lignes fictives par correspondance exacte et affiche le pourcentage de précision.
Évaluer un modèle d'apprentissage automatique en local
Écrire le script
Demandez à l'agent de créer votre script d'évaluation. Il utilise write_file pour générer score_results.py pour l'évaluation de modèles en machine learning. Examinez le diff. L'agent utilise edit_file pour ajuster la logique du script. Vous voyez les modifications clairement affichées dans la carte de discussion. Acceptez les modifications pour correspondre exactement à vos besoins de benchmark spécifiques. Utilisez Shell pour exécuter le script sur votre PC Windows. Nous saturons simplement les benchmarks avec des tests répétitifs aujourd'hui car l'agent exécute les outils. Lisez les résultats pour confirmer que le script s'exécute sans erreurs.
Vérifier les résultats
Vous vérifiez la sortie en lisant le fichier, et l'agent affiche le nombre de correspondances exactes pour que vous puissiez les comparer à vos résultats attendus. Vérifiez la méthode. Utilisez web_search pour lire la méthode publiée concernant l'exactitude et la correction. L'agent utilise http_get pour lire la page de documentation officielle. Vous examinez le code source pour vous assurer que la logique de notation est correcte. Exécutez à nouveau le script avec des paramètres différents et comparez les nouveaux résultats. Documentez la méthode et conservez les sorties brutes pour assurer la reproductibilité. Vous examinez le diff avant d'accepter les modifications lorsque vous évaluez les résultats de modèles en machine learning pour le benchmark de traduction llm.
