Skript erstellen
Sie bitten den Agenten, score_results.py zu schreiben.
Workflows
Modellbewert im Machine Learning
03
Testergebnisse mit exakter Übereinstimmung bewerten
Sie schreiben ein kurzes Python-Skript, um Ihre Benchmark-Ergebnisse zu bewerten. Pairwise LM erstellt die Datei, führt sie in Shell aus und zeigt die genaue Ausgabe. Sie prüfen den Diff, bevor Sie die Änderungen in Ask first-Modus akzeptieren.
Diff prüfen
Sie prüfen den Diff in der Chat-Karte.
Befehl ausführen
Der Agent führt das Skript in Shell aus und Sie lesen den echten Exit-Code.
Ausgabe prüfen
Sie lesen den Genauigkeitsprozentsatz aus der Ausgabe.
Beispiel-Skript zur Bewertung
Schreiben Sie ein Skript, um diese Ergebnisse zu bewerten.
- write_file
score_results.pysaved - Shell
python score_results.pyexit 0 - read_file
score_results.pyread - grep
correct2 matches
wartet auf Ihre Bestätigung vor dem nächsten SchrittAblehnenAkzeptieren
score_results.py
results = [
("q1", "yes", "yes"),
("q2", "no", "maybe"),
("q3", "ok", "ok"),
]
correct = 0
for q, exp, ans in results:
if exp == ans:
correct += 1
print(correct)
print(len(results))Dieses Skript bewertet fiktive Zeilen mit exakter Übereinstimmung und gibt den Genauigkeitsprozentsatz aus.
Machine-Learning-Modell lokal auswerten
Skript schreiben
Bitten Sie den Agenten, Ihr Auswertungsskript zu erstellen. Er nutzt write_file, um score_results.py für die Modellbewert im Machine Learning zu generieren, und prüft den Diff. Prüfen Sie den Diff. Der Agent nutzt edit_file, um die Logik im Skript anzupassen. Sie sehen die Änderungen klar in der Chat-Karte dargestellt. Akzeptieren Sie die Änderungen, um sie exakt an Ihre spezifischen Benchmark-Anforderungen anzupassen. Nutzen Sie Shell, um das Skript auf Ihrem Windows-PC auszuführen. Wir sättigen Benchmarks heute nur mit repetitiven Tests, weil der Agent die Tools ausführt. Lesen Sie die Ergebnisse, um zu bestätigen, dass das Skript ohne Fehler ausgeführt wird.
Ergebnisse prüfen
Sie verifizieren die Ausgabe, indem Sie die Datei lesen, und der Agent zeigt die Anzahl der exakten Übereinstimmungen, sodass Sie diese mit Ihren erwarteten Ergebnissen vergleichen können. Prüfen Sie die Methode. Nutzen Sie web_search, um die veröffentlichte Methode für Genauigkeit und Korrektheit zu lesen. Der Agent nutzt http_get, um die offizielle Dokumentationsseite zu lesen. Sie prüfen den Quellcode, um sicherzustellen, dass die Bewertungslogik korrekt ist. Führen Sie das Skript erneut mit anderen Einstellungen aus und vergleichen Sie die neuen Ergebnisse. Dokumentieren Sie die Methode und bewahren Sie die Rohdaten auf, um die Reproduzierbarkeit zu gewährleisten. Sie prüfen den Diff, bevor Sie Änderungen akzeptieren, wenn Sie Machine-Learning-Modellergebnisse für den LLM-Übersetzungsbenchmark auswerten.
