Pairwise LM
Pracovní postupy

hodnocení modelů ve strojovém učení

03
Vyhodnoťte testovací výsledky

Vyhodnoťte testovací výsledky pomocí přesné shody

Napište krátký Python skript pro vyhodnocení výsledků benchmarku. Pairwise LM vytvoří soubor, spustí ho v Shellu a zobrazí přesný výstup. Zkontrolujte rozdíl před přijetím změn v režimu Ask first.

01

Vytvořte skript

Požádejte agenta o napsání skriptu score_results.py.

02

Zkontrolujte rozdíl

Zkontrolujte rozdíl v kartě chatu.

03

Spusťte příkaz

Agent spustí skript v Shellu a vy si přečtete skutečný kód návratu.

04

Zkontrolujte výstup

Přečtěte si procento přesnosti z výstupu.

Příklad skriptu pro vyhodnocení

score_results.py
results = [
    ("q1", "yes", "yes"),
    ("q2", "no", "maybe"),
    ("q3", "ok", "ok"),
]
correct = 0
for q, exp, ans in results:
    if exp == ans:
        correct += 1
print(correct)
print(len(results))

Tento skript vyhodnocuje fiktivní řádky pomocí přesné shody a vypisuje procento přesnosti.

Vyhodnoťte model strojového učení lokálně

Napište skript

Požádejte agenta o vytvoření skriptu pro hodnocení a ten použije write_file k vygenerování score_results.py pro hodnocení modelů ve strojovém učení a zkontroluje rozdíl. Zkontrolujte rozdíl. Agent použije edit_file k úpravě logiky uvnitř skriptu. Změny vidíte jasně v kartě chatu. Přijměte změny tak, aby přesně odpovídaly vašim konkrétním potřebám benchmarku. Použijte Shell k spuštění skriptu na vašem PC s Windows. Právě saturujeme benchmarky opakovanými testy, protože agent spouští nástroje. Přečtěte si výsledky a potvrďte, že skript běží bez chyb.

Zkontrolujte výsledky

Ověřte výstup čtením souboru a agent zobrazí počet přesných shod, abyste je mohli porovnat s očekávanými výsledky. Zkontrolujte metodu. Použijte web_search pro přečtení zveřejněné metody pro přesnost a správnost. Agent použije http_get pro přečtení stránky s oficiální dokumentací. Zkontrolujte zdrojový kód, abyste se ujistili, že logika vyhodnocení je správná. Spusťte skript znovu s jinými nastaveními a porovnejte nové výsledky. Dokumentujte metodu a uchovávejte surové výstupy pro zajištění reprodukovatelnosti. Zkontrolujte rozdíl před přijetím změn, když vyhodnocujete výsledky modelů ve strojovém učení pro benchmark překladu LLM.

Pairwise LM pro Windows

Začněte své hodnocení

Stáhnout Pairwise LM ↗