Pairwise LM
İş akışları

ML'de model değerlendirmesi

03
Test sonuçlarını puanla

Tam eşleşme ile test sonuçlarını puanla

Benchmark sonuçlarınızı puanlamak için kısa bir Python komut dosyası yazarsınız. Pairwise LM dosyayı oluşturur, Shell içinde çalıştırır ve tam çıktıyı gösterir. Değişiklikleri kabul etmeden önce Ask first modunda farkları (diff) gözden geçirirsiniz.

01

Komut dosyası oluştur

Aracıya score_results.py dosyasını yazmasını söylersiniz.

02

Farkları gözden geçir

Sohbet kartındaki farkları (diff) kontrol edersiniz.

03

Komutu çalıştır

Aracı komut dosyasını Shell içinde çalıştırır ve gerçek çıkış kodunu okursunuz.

04

Çıktıyı kontrol et

Çıktıdan doğruluk yüzdesini okursunuz.

Örnek puanlama komut dosyası

score_results.py
results = [
    ("q1", "yes", "yes"),
    ("q2", "no", "maybe"),
    ("q3", "ok", "ok"),
]
correct = 0
for q, exp, ans in results:
    if exp == ans:
        correct += 1
print(correct)
print(len(results))

Bu komut dosyası uydurma satırları tam eşleşme ile puanlar ve doğruluk yüzdesini yazar.

ML modelini yerel olarak değerlendir

Komut dosyası yaz

Aracıya değerlendirme komut dosyanızı oluşturmalarını isteyin; makine öğreniminde model değerlendirmesi için score_results.py oluşturmak üzere write_file kullanır ve farkları gözden geçirir. Farkları gözden geçirin. Aracı, mantığı ayarlamak için edit_file kullanır. Değişiklikleri sohbet kartında net bir şekilde görürsünüz. Özel benchmark ihtiyaçlarınıza tam olarak uyması için değişiklikleri kabul edin. Windows PC'nizde komut dosyasını çalıştırmak için Shell kullanın. Aracı araçları çalıştırdığı için bugün benchmarkları tekrarlayan testlerle doyuruyoruz. Komut dosyasının hatasız çalıştığını doğrulamak için sonuçları okuyun.

Sonuçları kontrol et

Dosyayı okuyarak çıktıyı doğrularsınız ve aracı, beklenen sonuçlarla karşılaştırabilmeniz için tam eşleşme sayısını gösterir. Yöntemi kontrol edin. Doğruluk ve doğruluk için yayımlanan yöntemi okumak üzere web_search kullanın. Aracı, resmi dokümantasyon sayfasını okumak için http_get kullanır. Puanlama mantığının doğru olduğundan emin olmak için kaynak kodu gözden geçirin. Farklı ayarlarla komut dosyasını tekrar çalıştırın ve yeni sonuçları karşılaştırın. Yinelenebilirliği sağlamak için yöntemi belgeleyin ve ham çıktıları saklayın. llm çeviri benchmarkı için makine öğrenimi model sonuçlarını değerlendirirken değişiklikleri kabul etmeden önce farkları gözden geçirirsiniz.

Windows için Pairwise LM

Değerlendirmenize başlayın

Pairwise LM'yi İndir ↗