Đánh giá mô hình ngôn ngữ nhỏ trên PC của bạn

Tính năng

• Tệpđọc, ghi, chỉnh sửa, xóa, liệt kê, grep, sao chép, di chuyển, tạo thư mục.
• Shellchạy lệnh, xem mã thoát, build, lint, test tại chỗ hoặc qua SSH.
• Webtìm kiếm web hoặc lấy một trang để đọc tài liệu.
• Ảnh chụp màn hình và hình ảnhtạo hình ảnh hoặc đọc văn bản từ ảnh chụp màn hình bằng OCR.
• Điều phốicác tác tử phụ song song, chạy trên các mô hình lớn hơn, kỹ năng, kiểm soát phiên bản.
• Chế độ phê duyệtAuto-run, Ask first, Plan only để bạn kiểm soát.
• Cronlên lịch prompt chạy tự động vào các thời điểm cố định.
• Mô hìnhAPI đám mây, mô hình cục bộ trên PC, hoặc mô hình tích hợp sẵn với nút kiểm thử.

Hướng dẫn từng bước

Chạy bài kiểm tra mô hình ngôn ngữ nhỏ

Viết kịch bản đánh giá của bạn bằng write_file, và Shell chạy nó trên dữ liệu CSV của bạn để tạo kết quả so sánh và phân tích đầu ra. Kiểm tra mã thoát. Đọc đầu ra bằng read_file để xác minh các con số cẩn thận. Phương pháp này phù hợp cho việc benchmark mô hình cục bộ cho các tác vụ mã hóa agentic. Một mô hình ngôn ngữ nhỏ là mô hình bạn kiểm tra trong quy trình này. Bạn có thể đánh giá lại các mô hình trên bảng xếp hạng LLM mở để so sánh hiệu suất. Pairwise LM chạy các bài kiểm tra cục bộ trên PC của bạn và giữ mọi dữ liệu riêng tư. Sử dụng tác tử để tự động hóa quy trình chấm điểm ngay hôm nay để có kết quả tốt hơn.

So sánh các chỉ số hiệu suất mô hình

Pairwise LM chạy các công cụ tự động trên Windows, và mọi hành động đều xuất hiện trong cuộc trò chuyện dưới dạng thẻ với kết quả thực tế cho người dùng. Chạy các bài kiểm tra. So sánh hai mô hình bằng các chỉ số hiệu suất như độ trễ và thông lượng. Tác tử sử dụng Shell để chạy lệnh giám sát của bạn trên GPU của bạn. Nó ghi lại số token mỗi giây và mức sử dụng bộ nhớ đỉnh. Bạn cũng có thể sử dụng web_search để tìm phương pháp benchmark mới nhất. Lặp lại lần chạy để kiểm tra tính nhất quán cho một mô hình nhỏ hơn. Tác tử viết một kịch bản mới để tự động hóa việc đánh giá mô hình trong học máy.