Pairwise LM
Alur kerja

evaluasi model dalam pembelajaran mesin

03
Skor hasil pengujian

Skor hasil pengujian dengan kecocokan tepat

Anda menulis skrip Python singkat untuk memberi skor hasil benchmark. Pairwise LM membuat file, menjalankannya di Shell, dan menampilkan output yang tepat. Anda meninjau diff sebelum menerima perubahan dalam mode Ask first.

01

Buat skrip

Anda meminta agen untuk menulis score_results.py.

02

Periksa diff

Anda memeriksa diff di kartu obrolan.

03

Jalankan perintah

Agen menjalankan skrip di Shell dan Anda membaca kode keluar yang sebenarnya.

04

Periksa output

Anda membaca persentase akurasi dari output.

Contoh skrip penilai

score_results.py
results = [
    ("q1", "yes", "yes"),
    ("q2", "no", "maybe"),
    ("q3", "ok", "ok"),
]
correct = 0
for q, exp, ans in results:
    if exp == ans:
        correct += 1
print(correct)
print(len(results))

Skrip ini menilai baris buatan dengan kecocokan tepat dan mencetak persentase akurasi.

Evaluasi model pembelajaran mesin secara lokal

Tulis skrip

Minta agen untuk membuat skrip evaluasi dan ia menggunakan write_file untuk menghasilkan score_results.py guna evaluasi model dalam pembelajaran mesin, lalu Anda meninjau diff. Agen menggunakan edit_file untuk menyesuaikan logika di dalam skrip. Anda melihat perubahan yang ditampilkan dengan jelas di kartu obrolan. Terima perubahan agar sesuai dengan kebutuhan benchmark spesifik Anda. Gunakan Shell untuk menjalankan skrip di PC Windows Anda. Kami hanya menjalankan benchmark dengan pengujian berulang hari ini karena agen menjalankan alat. Baca hasil untuk mengonfirmasi skrip berjalan tanpa kesalahan.

Periksa hasil

Anda memverifikasi output dengan membaca file, dan agen menampilkan jumlah kecocokan tepat sehingga Anda dapat membandingkannya dengan hasil yang diharapkan. Periksa metode. Gunakan web_search untuk membaca metode yang diterbitkan mengenai akurasi dan kebenaran. Agen menggunakan http_get untuk membaca halaman dokumentasi resmi. Anda meninjau kode sumber untuk memastikan logika penilai benar. Jalankan skrip lagi dengan pengaturan berbeda dan bandingkan hasil baru. Dokumentasikan metode dan simpan output mentah untuk memastikan reproduktibilitas. Anda meninjau diff sebelum menerima perubahan ketika mengevaluasi hasil model pembelajaran mesin untuk benchmark terjemahan LLM.

Pairwise LM untuk Windows

Mulai evaluasi Anda

Unduh Pairwise LM ↗