Pairwise LM
वर्कफ़्लो

मशीन लर्निंग में मॉडल मूल्यांकन

03
परीक्षण परिणामों का स्कोर करें

एक्सेक्ट मैच से परीक्षण परिणामों का स्कोर करें

बेंचमार्क परिणामों का स्कोर करने के लिए आप एक छोटी पायथन स्क्रिप्ट लिखते हैं। Pairwise LM फ़ाइल बनाता है, इसे Shell में चलाता है, और सटीक आउटपुट दिखाता है। Ask first मोड में परिवर्तनों को स्वीकार करने से पहले आप diff की समीक्षा करते हैं।

01

स्क्रिप्ट बनाएं

आप एजेंट से score_results.py लिखने के लिए कहते हैं।

02

Diff की समीक्षा करें

आप चैट कार्ड में diff की जांच करते हैं।

03

कमांड चलाएं

एजेंट Shell में स्क्रिप्ट चलाता है और आप वास्तविक एग्जिट कोड पढ़ते हैं।

04

आउटपुट की जांच करें

आप आउटपुट से सटीकता प्रतिशत पढ़ते हैं।

उदाहरण स्कोरिंग स्क्रिप्ट

score_results.py
results = [
    ("q1", "yes", "yes"),
    ("q2", "no", "maybe"),
    ("q3", "ok", "ok"),
]
correct = 0
for q, exp, ans in results:
    if exp == ans:
        correct += 1
print(correct)
print(len(results))

यह स्क्रिप्ट बनाए गए पंक्तियों का एक्सेक्ट मैच करती है और सटीकता प्रतिशत प्रिंट करती है।

मशीन लर्निंग मॉडल का स्थानीय रूप से मूल्यांकन करें

स्क्रिप्ट लिखें

एजेंट से अपनी मूल्यांकन स्क्रिप्ट बनाने के लिए कहें। यह मशीन लर्निंग में मॉडल मूल्यांकन के लिए score_results.py जनरेट करने के लिए write_file का उपयोग करता है और diff दिखाता है। diff की समीक्षा करें। एजेंट स्क्रिप्ट के अंदर तर्क को समायोजित करने के लिए edit_file का उपयोग करता है। आप परिवर्तनों को चैट कार्ड में स्पष्ट रूप से देखते हैं। अपने विशिष्ट बेंचमार्क आवश्यकताओं के अनुरूप बनाने के लिए परिवर्तनों को स्वीकार करें। अपने Windows PC पर स्क्रिप्ट चलाने के लिए Shell का उपयोग करें। एजेंट टूल्स चला रहा है, इसलिए हम आज बेंचमार्क को दोहराव वाले परीक्षणों से संतृप्त कर रहे हैं। स्क्रिप्ट बिना किसी त्रुटि के चल रही है, यह पुष्टि करने के लिए परिणाम पढ़ें।

परिणामों की जांच करें

आप फ़ाइल को पढ़कर आउटपुट की पुष्टि करते हैं, और एजेंट आपको सटीक मैच की संख्या दिखाता है ताकि आप इसे अपनी अपेक्षित परिणामों से तुलना कर सकें। विधि की जांच करें। सटीकता और सत्यनिष्ठा के लिए प्रकाशित विधि पढ़ने के लिए web_search का उपयोग करें। एजेंट आधिकारिक दस्तावेज़ पृष्ठ पढ़ने के लिए http_get का उपयोग करता है। आप स्कोरिंग तर्क सही है, यह सुनिश्चित करने के लिए स्रोत कोड की समीक्षा करते हैं। अलग-अलग सेटिंग्स के साथ स्क्रिप्ट को फिर से चलाएं और नए परिणामों की तुलना करें। पुनरुत्पादकता को सुनिश्चित करने के लिए विधि को दस्तावेज करें और कच्चे आउटपुट को रखें। जब आप llm अनुवाद बेंचमार्क के लिए मशीन लर्निंग मॉडल परिणामों का मूल्यांकन करते हैं, तो आप परिवर्तनों को स्वीकार करने से पहले diff की समीक्षा करते हैं।

Windows के लिए Pairwise LM

अपना मूल्यांकन शुरू करें

Pairwise LM डाउनलोड करें ↗