Pairwise LM
Przepływy pracy

ewaluacja modeli w uczeniu maszynowym

03
Ocena wyników testów

Oceniaj wyniki testów za pomocą dokładnego dopasowania

Piszesz krótki skrypt w Pythonie do oceny wyników benchmarku. Pairwise LM tworzy plik, uruchamia go w Shell i pokazuje dokładny wynik. Przeglądasz różnice przed zaakceptowaniem zmian w trybie Ask first.

01

Utwórz skrypt

Poproś agenta o napisanie skryptu score_results.py.

02

Przejrzyj różnice

Sprawdzasz różnice w karcie czatu.

03

Uruchom polecenie

Agent uruchamia skrypt w Shell, a Ty sprawdzasz rzeczywisty kod wyjścia.

04

Sprawdź wynik

Odczytujesz procent dokładności z wyniku.

Przykładowy skrypt punktujący

score_results.py
results = [
    ("q1", "yes", "yes"),
    ("q2", "no", "maybe"),
    ("q3", "ok", "ok"),
]
correct = 0
for q, exp, ans in results:
    if exp == ans:
        correct += 1
print(correct)
print(len(results))

Ten skrypt ocenia przykładowe wiersze za pomocą dokładnego dopasowania i wypisuje procent dokładności.

Ewaluuj model uczenia maszynowego lokalnie

Napisz skrypt

Poproś agenta o utworzenie skryptu ewaluacyjnego. Użyje on write_file do wygenerowania score_results.py do ewaluacji modeli w uczeniu maszynowym i pokaże różnice. Przeglądaj te różnice. Agent używa edit_file do dostosowania logiki wewnątrz skryptu. Widzisz zmiany wyraźnie wyświetlone w karcie czatu. Przyjmij zmiany, aby dokładnie pasowały do Twoich specyficznych potrzeb benchmarku. Użyj Shell do uruchomienia skryptu na swoim komputerze Windows. Dziś po prostu nasycajemy benchmarki powtarzalnymi testami, ponieważ agent uruchamia narzędzia. Przeczytaj wyniki, aby potwierdzić, że skrypt działa bez błędów.

Sprawdź wyniki

Weryfikujesz wynik, czytając plik, a agent pokazuje dokładną liczbę dopasowań, abyś mógł porównać ją z oczekiwanymi wynikami. Sprawdź metodę. Użyj web_search, aby przeczytać opublikowaną metodę dotyczącą dokładności i poprawności. Agent używa http_get do odczytu strony oficjalnej dokumentacji. Przeglądasz kod źródłowy, aby upewnić się, że logika punktowania jest poprawna. Uruchom ponownie skrypt z różnymi ustawieniami i porównaj nowe wyniki. Udokumentuj metodę i zachuj surowe wyjścia, aby zapewnić powtarzalność. Przeglądasz różnice przed zaakceptowaniem zmian, gdy oceniasz wyniki ewaluacji modeli w uczeniu maszynowym dla benchmarku tłumaczeń LLM.

Pairwise LM dla Windows

Rozpocznij ewaluację

Pobierz Pairwise LM ↗