Kendali lokal
Obrolan, folder kerja, dan kunci API tetap di PC; prompt hanya dikirim ke endpoint yang Anda pilih.
Produk
Benchmarking model bahasa kecil di PC Anda
01
Pairwise LM membantu Anda menjalankan benchmark LLM sendiri di Windows. Anda membandingkan metrik kinerja model secara lokal dengan kendali penuh. Dengan model lokal, tidak ada data yang keluar dari PC; dengan endpoint cloud, teks prompt Anda dikirim ke penyedia tersebut.
Hasil nyata
Lihat output perintah yang sebenarnya.
Model apa saja
Gunakan API lokal atau cloud, atau model bawaan.
Fitur
- Filebaca, tulis, edit, hapus, daftar, grep, salin, pindahkan, buat direktori.
- Shelljalankan perintah, lihat kode keluar, bangun, periksa sintaks, uji secara lokal atau via SSH.
- Webcari di internet atau ambil satu halaman untuk dokumentasi.
- Tangkapan layar dan gambarbuat gambar atau baca teks dari tangkapan layar dengan OCR.
- Orkestrasiagen sub-paralel, jalankan pada model yang lebih besar, keterampilan, kontrol versi.
- Mode persetujuanAuto-run, Ask first, Plan only untuk kendali Anda.
- Cronjadwalkan prompt untuk dijalankan secara otomatis pada waktu tertentu.
- ModelAPI cloud, model PC lokal, atau model bawaan dengan tombol uji.
Cara membantu
Anda menulis skrip, agen menjalankannya, dan dalam mode Ask first Anda menyetujui setiap perubahan sebelum diterapkan.
Skor file CSV dengan kecocokan tepat.
- write_file
score_results.pydisimpan - edit_file
score_results.py+2 - Shell
python score_results.pyexit 0 - read_file
results.csvbaca - write_file
report.jsondisimpan
menunggu persetujuan Anda sebelum melanjutkanTolakTerima
Panduan
Jalankan uji model bahasa kecil
Tulis skrip evaluasi Anda dengan write_file, lalu Shell menjalankannya terhadap data CSV Anda untuk menghasilkan hasil guna perbandingan dan analisis output. Periksa kode keluar. Baca output dengan read_file untuk memverifikasi angka dengan cermat. Metode ini cocok untuk benchmark LLM lokal pada tugas coding agentic. Model bahasa kecil adalah model yang Anda uji dalam alur kerja ini. Anda dapat mengevaluasi ulang model di papan peringkat LLM terbuka untuk membandingkan kinerja. Pairwise LM menjalankan benchmark lokal di PC Anda dan menjaga semua data tetap privat. Gunakan agen untuk mengotomatisasi proses penilaian hari ini demi hasil yang lebih baik.
Bandingkan metrik kinerja model
Pairwise LM menjalankan alat secara otonom di Windows, dan setiap tindakan muncul di obrolan sebagai kartu dengan hasil nyatanya bagi pengguna. Jalankan tes. Bandingkan dua model menggunakan metrik kinerja seperti latensi dan throughput. Agen menggunakan Shell untuk menjalankan perintah pemantauan Anda pada GPU Anda. Ini menangkap token per detik dan penggunaan memori puncak. Anda juga dapat menggunakan web_search untuk menemukan metodologi benchmark terbaru. Ulangi jalankan untuk memeriksa konsistensi pada model yang lebih kecil. Agen menulis skrip baru untuk mengotomatisasi evaluasi model dalam pembelajaran mesin.
Apa yang tidak dilakukan Pairwise LM
Ini bukan layanan yang di-host atau plugin; ini hanya dimaksudkan untuk file, PC, dan server Anda sendiri yang Anda berwenangkan untuk digunakan.
