Kết nối mô hình AI
Pairwise LM kết nối với nhà cung cấp đám mây qua điểm cuối API tiêu chuẩn, mô hình chạy cục bộ trên máy tính của bạn, hoặc mô hình tích hợp. Bạn chọn điểm cuối, xác nhận nó hoạt động, rồi chạy các tập lệnh đánh giá của mình với quyền kiểm soát hoàn toàn đối với mọi hành động.
Chọn nguồn mô hình
Điểm cuối API đám mây
Kết nối với nhà cung cấp AI đám mây bằng điểm cuối API tiêu chuẩn. Tùy chọn này gửi các câu lệnh của bạn đến máy chủ từ xa, nghĩa là dữ liệu sẽ rời khỏi máy tính của bạn. Bạn có thể sử dụng bất kỳ nhà cung cấp nào hỗ trợ giao diện tiêu chuẩn và bạn kiểm soát điểm cuối nhận dữ liệu. Hãy dùng tùy chọn này cho các mô hình lớn không vừa với phần cứng của bạn.
Mô hình cục bộ
Chạy mô hình trực tiếp trên máy tính Windows của bạn bằng phần cứng cục bộ. Không có dữ liệu nào rời khỏi máy tính của bạn khi dùng tùy chọn này, đảm bảo các câu lệnh của bạn vẫn ở trên máy tính. Bạn có thể theo dõi bộ nhớ GPU và tốc độ bằng các công cụ của nhà cung cấp phần cứng trong khi agent chạy các tập lệnh đánh giá của bạn.
Mô hình tích hợp
Mô hình tích hợp đã sẵn sàng sử dụng mà không cần điểm cuối hoặc khóa API riêng của bạn.
Kiểm tra kết nối
Nhấn nút Kiểm tra để xác nhận điểm cuối có phản hồi. Công cụ này hiển thị thời gian phản hồi và kích thước cửa sổ ngữ cảnh. Đây không phải là giải pháp thay thế cho benchmark của bạn.
Chọn mô hình phù hợp
Dùng run_on_model để gửi một bước khó cho mô hình lớn hơn. Nếu mô hình đó là điểm cuối đám mây, văn bản của bước đó sẽ được gửi đến nhà cung cấp.
Chất lượng khác nhau giữa các mô hình, vì vậy hãy luôn xem lại diff trước khi chấp nhận các thay đổi. Dùng Ask first để tạm dừng trước mọi hành động làm thay đổi dữ liệu. Điều này đảm bảo bạn thấy chính xác những sửa đổi mà mô hình thực hiện đối với các tập lệnh đánh giá hoặc tệp kết quả trước khi chúng được áp dụng vĩnh viễn.
