Yerel kontrol
Sohbetler, çalışma klasörleri ve API anahtarları PC'de kalır; promptlar yalnızca seçtiğiniz uç noktaya gönderilir.
Ürün
PC'nizde küçük dil modeli benchmark'ı
01
Pairwise LM, Windows üzerinde kendi LLM benchmark'larınızı çalıştırmanıza yardımcı olur. Tam kontrolle yerel olarak model performans metriklerini karşılaştırın. Yerel bir modelle veriler PC'nizde kalır; bulut uç noktasıyla yalnızca prompt metni ilgili sağlayıcıya gider.
Gerçek sonuçlar
Gerçek komut çıktısını görün.
Herhangi bir model
Yerel veya bulut API'lerini veya yerleşik modeli kullanın.
Özellikler
- Dosyalaroku, yaz, düzenle, sil, listele, grep, kopyala, taşı, dizin oluştur.
- Shellkomutları çalıştır, çıkış kodunu gör, yerel veya SSH üzerinden derle, lint yap, test et.
- Webweb'de arama yap veya dokümantasyon için bir sayfa getir.
- Ekran görüntüleri ve görsellergörsel oluştur veya ekran görüntülerinden OCR ile metin oku.
- Orkestrasyonparalel alt ajanlar, daha büyük modellerde çalıştırma, beceriler, sürüm kontrolü.
- Onay modlarıAuto-run, Ask first, Plan only seçenekleriyle tam kontrol sizde.
- CronPromptları belirli zamanlarda otomatik olarak çalıştırmak için zamanlayıcı.
- Modellerbulut API'si, yerel PC modeli veya test düğmeli yerleşik model.
Nasıl yardımcı olur
Komut dosyalarını siz yazarsınız, ajan çalıştırır ve Ask first modunda her değişikliği uygulamadan önce onaylarsınız.
CSV dosyasını tam eşleşme ile puanlayın.
- write_file
score_results.pykaydedildi - edit_file
score_results.py+2 - Shell
python score_results.pyexit 0 - read_file
results.csvokundu - write_file
report.jsonkaydedildi
bir sonraki adımdan önce onayınızı bekliyorReddetKabul Et
Adım adım kılavuzlar
Küçük dil modeli testi çalıştırma
write_file ile değerlendirme komut dosyanızı yazın ve Shell, CSV verileriniz üzerinde çalıştırarak karşılaştırma ve çıktı analizi için sonuçlar üretsin. Çıkış kodunu kontrol edin. Sayıları dikkatlice doğrulamak için read_file ile çıktıyı okuyun. Bu yöntem, ajansal kodlama görevleri için yerel LLM'ler için benchmark çalıştırmaya uygundur. Küçük dil modeli, bu iş akışında test ettiğiniz modeldir. Performansı karşılaştırmak için açık LLM liderlik tablosundaki modelleri yeniden değerlendirebilirsiniz. Pairwise LM, tüm verileri gizli tutarak benchmark'ları PC'nizde yerel olarak çalıştırır. Daha iyi sonuçlar için bugün puanlama sürecini otomatikleştirmek için ajanı kullanın.
Model performans metriklerini karşılaştırma
Pairwise LM, Windows üzerinde araçları otonom olarak çalıştırır ve her eylem, gerçek sonucu içeren bir kart olarak sohbette görünür. Testleri çalıştırın. Gecikme ve işleme kapasitesi gibi performans metriklerini kullanarak iki modeli karşılaştırın. Ajan, GPU'nuzda izleme komutunuzu çalıştırmak için Shell kullanır. Saniyedeki token sayısını ve zirve bellek kullanımını yakalar. En son benchmark metodolojisini bulmak için web_search kullanabilirsiniz. Daha küçük bir model için tutarlılığı kontrol etmek için çalıştırmayı tekrarlayın. Ajan, makine öğrenimi model değerlendirmesini otomatikleştirmek için yeni bir komut dosyası yazar.
Pairwise LM ne yapmaz
Hosted bir hizmet veya eklenti değildir; yalnızca kendi dosyalarınız, PC'niz ve kullanım hakkınız olan sunucular için tasarlanmıştır.
