Pairwise LM
Fluxuri de lucru

evaluarea modelelor în învățarea automată

03
Scorare rezultate test

Scorare rezultate test cu potrivire exactă

Scrii un script Python scurt pentru a calcula scorul benchmark-ului tău. Pairwise LM creează fișierul, îl execută în Shell și afișează ieșirea exactă. Revizuiești diferențele înainte de a accepta modificările în modul Ask first.

01

Creează scriptul

Îi ceri agentului să scrie score_results.py.

02

Revizuiește diferențele

Verifici diferențele în cardul de chat.

03

Execută comanda

Agentul execută scriptul în Shell și citești codul de ieșire real.

04

Verifică ieșirea

Citești procentul de acuratețe din ieșire.

Exemplu de script de scorare

score_results.py
results = [
    ("q1", "yes", "yes"),
    ("q2", "no", "maybe"),
    ("q3", "ok", "ok"),
]
correct = 0
for q, exp, ans in results:
    if exp == ans:
        correct += 1
print(correct)
print(len(results))

Acest script calculează scorul pentru rânduri fictive prin potrivire exactă și afișează procentul de acuratețe.

Evaluarea locală a unui model ML

Scrie scriptul

Cere agentului să creeze scriptul tău de evaluare; acesta folosește write_file pentru a genera score_results.py pentru evaluarea modelelor în învățarea automată și revizuiește diferențele. Revizuiește diferențele. Agentul folosește edit_file pentru a ajusta logica din interiorul scriptului. Vezi modificările afișate clar în cardul de chat. Acceptă modificările pentru a se potrivi exact cu nevoile specifice ale benchmark-ului tău. Folosește Shell pentru a executa scriptul pe PC-ul tău Windows. Tocmai saturăm benchmark-urile cu teste repetitive astăzi pentru că agentul execută instrumentele. Citește rezultatele pentru a confirma că scriptul rulează fără erori.

Verifică rezultatele

Verifici ieșirea citind fișierul, iar agentul afișează numărul exact de potriviri, astfel încât să le poți compara cu rezultatele așteptate. Verifică metoda. Folosește web_search pentru a citi metoda publicată pentru acuratețe și corectitudine. Agentul folosește http_get pentru a citi pagina de documentație oficială. Revizuiești codul sursă pentru a te asigura că logica de scorare este corectă. Rulează din nou scriptul cu setări diferite și compară noile rezultate. Documentează metoda și păstrează ieșirile brute pentru a asigura reproductibilitatea. Revizuiești diferențele înainte de a accepta modificările atunci când evaluezi rezultatele modelelor ML pentru benchmark-ul de traducere LLM.

Pairwise LM pentru Windows

Începe-ți evaluarea

Descarcă Pairwise LM ↗