Pairwise LM
Flussi di lavoro

valutazione modelli nel machine learning

03
Calcola il punteggio dei test

Calcola il punteggio con corrispondenza esatta

Scrivi uno script Python breve per calcolare il punteggio dei risultati del benchmark. Pairwise LM crea il file, lo esegue in Shell e mostra l'output esatto. Rivedi il diff prima di accettare le modifiche in modalità Ask first.

01

Crea script

Chiedi all'agente di scrivere score_results.py.

02

Rivedi diff

Controlla il diff nella scheda della chat.

03

Esegui comando

L'agente esegue lo script in Shell e leggi il codice di uscita reale.

04

Controlla output

Leggi la percentuale di accuratezza dall'output.

Script di esempio per il punteggio

score_results.py
results = [
    ("q1", "yes", "yes"),
    ("q2", "no", "maybe"),
    ("q3", "ok", "ok"),
]
correct = 0
for q, exp, ans in results:
    if exp == ans:
        correct += 1
print(correct)
print(len(results))

Questo script calcola il punteggio su righe fittizie con corrispondenza esatta e stampa la percentuale di accuratezza.

Valuta un modello ML in locale

Scrivi script

Chiedi all'agente di creare il tuo script di valutazione: userà write_file per generare score_results.py per la valutazione dei modelli nel machine learning e rivedere il diff. Rivedi il diff. L'agente usa edit_file per regolare la logica all'interno dello script. Vedi le modifiche visualizzate chiaramente nella scheda della chat. Accetta le modifiche per adattarle esattamente alle tue esigenze specifiche di benchmark. Usa Shell per eseguire lo script sul tuo PC Windows. Stiamo solo saturando i benchmark con test ripetitivi oggi perché l'agente esegue gli strumenti. Leggi i risultati per confermare che lo script viene eseguito senza errori.

Controlla i risultati

Verifica l'output leggendo il file; l'agente mostra il conteggio delle corrispondenze esatte così puoi confrontarlo con i risultati attesi. Controlla il metodo. Usa web_search per leggere il metodo pubblicato per accuratezza e correttezza. L'agente usa http_get per leggere la pagina della documentazione ufficiale. Rivedi il codice sorgente per assicurarti che la logica di punteggio sia corretta. Esegui di nuovo lo script con impostazioni diverse e confronta i nuovi risultati. Documenta il metodo e conserva gli output grezzi per garantire la riproducibilità. Rivedi il diff prima di accettare le modifiche quando valuti i risultati del machine learning per il benchmark di traduzione llm.

Pairwise LM per Windows

Avvia la tua valutazione

Scarica Pairwise LM ↗