Pairwise LM
เวิร์กโฟลว์

การประเมินโมเดล ML

03
ให้คะแนนผลลัพธ์ทดสอบ

ให้คะแนนผลลัพธ์ทดสอบด้วยการจับคู่ตรง

คุณเขียนสคริปต์ Python สั้นๆ เพื่อประเมินคะแนนผลลัพธ์ benchmark ของคุณ Pairwise LM สร้างไฟล์ รันใน Shell และแสดงผลลัพธ์ที่ตรงกันเป๊ะ คุณตรวจสอบ diff ก่อนยอมรับการเปลี่ยนแปลงในโหมด Ask first

01

สร้างสคริปต์

คุณขอให้ agent เขียน score_results.py

02

ตรวจสอบ diff

คุณตรวจสอบ diff ในการ์ดแชท

03

รันคำสั่ง

agent รันสคริปต์ใน Shell และคุณอ่าน exit code จริง

04

ตรวจสอบผลลัพธ์

คุณอ่านเปอร์เซ็นต์ความถูกต้องจากผลลัพธ์

ตัวอย่างสคริปต์ให้คะแนน

score_results.py
results = [
    ("q1", "yes", "yes"),
    ("q2", "no", "maybe"),
    ("q3", "ok", "ok"),
]
correct = 0
for q, exp, ans in results:
    if exp == ans:
        correct += 1
print(correct)
print(len(results))

สคริปต์นี้ให้คะแนนแถวสมมติด้วยการจับคู่ตรงและพิมพ์เปอร์เซ็นต์ความถูกต้อง

ประเมินโมเดล ML ในเครื่อง

เขียนสคริปต์

ขอให้ agent สร้างสคริปต์ประเมินของคุณ มันจะใช้ write_file เพื่อสร้าง score_results.py สำหรับการประเมินโมเดล ML และตรวจสอบ diff ตรวจสอบ diff agent ใช้ edit_file เพื่อปรับตรรกะภายในสคริปต์ คุณเห็นการเปลี่ยนแปลงที่แสดงอย่างชัดเจนในการ์ดแชท ยอมรับการเปลี่ยนแปลงให้ตรงกับความต้องการ benchmark เฉพาะของคุณ ใช้ Shell เพื่อรันสคริปต์บน Windows PC ของคุณ วันนี้เราแค่ทำให้ benchmark เต็มไปด้วยการทดสอบซ้ำๆ เพราะ agent รันเครื่องมือ อ่านผลลัพธ์เพื่อยืนยันว่าสคริปต์รันโดยไม่มีความผิดพลาด

ตรวจสอบผลลัพธ์

คุณตรวจสอบผลลัพธ์โดยการอ่านไฟล์ agent แสดงจำนวนการจับคู่ตรงเพื่อให้คุณเปรียบเทียบ它与ผลลัพธ์ที่คาดหวัง ตรวจสอบวิธีการ ใช้ web_search เพื่ออ่านวิธีการที่ตีพิมพ์เพื่อความถูกต้องและความแม่นยำ agent ใช้ http_get เพื่ออ่านหน้าเอกสารทางการ คุณตรวจสอบโค้ดต้นฉบับเพื่อให้แน่ใจว่าตรรกะการให้คะแนนถูกต้อง รันสคริปต์อีกครั้งด้วยการตั้งค่าที่แตกต่างและเปรียบเทียบผลลัพธ์ใหม่ บันทึกวิธีการและเก็บผลลัพธ์ดิบเพื่อให้แน่ใจว่าทำซ้ำได้ คุณตรวจสอบ diff ก่อนยอมรับการเปลี่ยนแปลงเมื่อคุณประเมินผลลัพธ์ ML สำหรับ benchmark การแปล llm

Pairwise LM สำหรับ Windows

เริ่มการประเมินของคุณ

ดาวน์โหลด Pairwise LM ↗