Pairwise LM
Werkstromen

Model-evaluatie in machine learning

03
Resultaten scoren

Resultaten scoren met exact match

Je schrijft een kort Python-script om je benchmarkresultaten te scoren. Pairwise LM maakt het bestand aan, voert het uit in Shell en toont de exacte uitvoer. Je controleert de diff voordat je de wijzigingen accepteert in Ask first-modus.

01

Script maken

Je vraagt de agent om score_results.py te schrijven.

02

Diff controleren

Je controleert de diff in de chatkaart.

03

Opdracht uitvoeren

De agent voert het script uit in Shell en je leest de echte exitcode.

04

Uitvoer controleren

Je leest het nauwkeurigheidscijfer uit de uitvoer.

Voorbeeld score-script

score_results.py
results = [
    ("q1", "yes", "yes"),
    ("q2", "no", "maybe"),
    ("q3", "ok", "ok"),
]
correct = 0
for q, exp, ans in results:
    if exp == ans:
        correct += 1
print(correct)
print(len(results))

Dit script scoort verzonnen rijen met exact match en geeft het nauwkeurigheidscijfer weer.

Evalueer machine learning-model lokaal

Script schrijven

Vraag de agent om je evaluatiescript te maken. Hij gebruikt write_file om score_results.py te genereren voor model-evaluatie in machine learning en controleert de diff. Controleer de diff. De agent gebruikt edit_file om de logica binnen het script aan te passen. Je ziet de wijzigingen duidelijk in de chatkaart. Accepteer de wijzigingen om precies aan je specifieke benchmarkbehoeften te voldoen. Gebruik Shell om het script uit te voeren op je Windows-pc. We verzadigen benchmarks vandaag gewoon met repetitieve tests omdat de agent de tools uitvoert. Lees de resultaten om te bevestigen dat het script zonder fouten draait.

Resultaten controleren

Je verifieert de uitvoer door het bestand te lezen, en de agent toont het aantal exact matches zodat je het kunt vergelijken met je verwachte resultaten. Controleer de methode. Gebruik web_search om de gepubliceerde methode voor nauwkeurigheid en correctheid te lezen. De agent gebruikt http_get om de officiële documentatiepagina te lezen. Je controleert de broncode om ervoor te zorgen dat de scorelogica correct is. Voer het script opnieuw uit met andere instellingen en vergelijk de nieuwe resultaten. Documenteer de methode en bewaar de ruwe uitvoeren om reproduceerbaarheid te garanderen. Je controleert de diff voordat je wijzigingen accepteert wanneer je resultaten van machine learning-modellen evalueert voor de llm-vertaalbenchmark.

Pairwise LM voor Windows

Start je evaluatie

Pairwise LM downloaden ↗