Quy trình làm việc

Đánh giá mô hình Machine Learning

Điểm số kết quả kiểm thử

Điểm số kết quả kiểm thử với khớp chính xác

Bạn viết một đoạn script Python ngắn để chấm điểm kết quả benchmark. Pairwise LM tạo file, chạy nó trong Shell và hiển thị kết quả đầu ra chính xác. Bạn xem xét diff trước khi chấp nhận các thay đổi ở chế độ Ask first.

Tạo script

Bạn yêu cầu agent viết file score_results.py.

Xem diff

Bạn kiểm tra diff trong thẻ chat.

Chạy lệnh

Agent chạy script trong Shell và bạn đọc mã thoát thực tế.

Kiểm tra đầu ra

Bạn đọc phần trăm độ chính xác từ kết quả đầu ra.

Ví dụ script chấm điểm

Pairwise LM · Chạy đánh giá● Ask first

Viết script để chấm điểm các kết quả này.

write_filescore_results.pyđã lưu
Shellpython score_results.pyexit 0
read_filescore_results.pyđọc
grepcorrect2 khớp

chờ bạn xác nhận trước khi thực hiện bước tiếp theoTừ chốiChấp nhận

score_results.py

results = [
    ("q1", "yes", "yes"),
    ("q2", "no", "maybe"),
    ("q3", "ok", "ok"),
]
correct = 0
for q, exp, ans in results:
    if exp == ans:
        correct += 1
print(correct)
print(len(results))

Script này chấm điểm các hàng giả định với khớp chính xác và in ra phần trăm độ chính xác.

Đánh giá mô hình Machine Learning cục bộ

Viết script

Yêu cầu agent tạo script đánh giá của bạn và nó sử dụng write_file để tạo score_results.py cho việc đánh giá mô hình trong Machine Learning và xem xét diff. Xem xét diff. Agent sử dụng edit_file để điều chỉnh logic bên trong script. Bạn thấy các thay đổi được hiển thị rõ ràng trong thẻ chat. Chấp nhận các thay đổi để khớp chính xác với nhu cầu benchmark cụ thể của bạn. Sử dụng Shell để chạy script trên máy Windows của bạn. Chúng tôi chỉ đang làm bão hòa các benchmark bằng các bài kiểm tra lặp lại hôm nay vì agent chạy các công cụ. Đọc kết quả để xác nhận script chạy không có lỗi.

Kiểm tra kết quả

Bạn xác minh đầu ra bằng cách đọc file, và agent hiển thị số lượng khớp chính xác để bạn có thể so sánh nó với kết quả dự kiến của mình. Kiểm tra phương pháp. Sử dụng web_search để đọc phương pháp đã công bố về độ chính xác và tính đúng đắn. Agent sử dụng http_get để đọc trang tài liệu chính thức. Bạn xem xét mã nguồn để đảm bảo logic chấm điểm là chính xác. Chạy lại script với các cài đặt khác nhau và so sánh kết quả mới. Tài liệu hóa phương pháp và giữ các đầu ra thô để đảm bảo khả năng tái lập. Bạn xem xét diff trước khi chấp nhận các thay đổi khi bạn đánh giá kết quả mô hình Machine Learning cho benchmark dịch llm.

Pairwise LM cho Windows

Bắt đầu đánh giá của bạn

Tải xuống Pairwise LM ↗