स्थानीय नियंत्रण
चैट, वर्किंग फोल्डर और API कुंजियां पीसी पर रहती हैं; प्रॉम्प्ट केवल उस एंडपॉइंट पर जाते हैं जिसे आप चुनते हैं
उत्पाद
अपने पीसी पर लघु भाषा मॉडल बेंचमार्किंग
01
Pairwise LM आपको Windows पर अपने खुद के LLM बेंचमार्क चलाने में मदद करता है। आप मॉडल प्रदर्शन मेट्रिक्स को पूर्ण नियंत्रण के साथ स्थानीय रूप से तुलना करते हैं। स्थानीय मॉडल के साथ कुछ भी पीसी से बाहर नहीं जाता; क्लाउड एंडपॉइंट के साथ आपका प्रॉम्प्ट टेक्स्ट उस प्रदाता को जाता है।
वास्तविक परिणाम
वास्तविक कमांड आउटपुट देखें।
कोई भी मॉडल
स्थानीय या क्लाउड API का उपयोग करें, या बिल्ट-इन मॉडल का।
विशेषताएं
- फ़ाइलेंपढ़ें, लिखें, संपादित करें, हटाएं, सूचीबद्ध करें, grep, कॉपी करें, स्थानांतरित करें, निर्देशिका बनाएं।
- Shellकमांड चलाएं, एग्जिट कोड देखें, स्थानीय रूप से या SSH के माध्यम से बिल्ड, लिनट, टेस्ट करें।
- वेबवेब पर खोजें या दस्तावेज़ीकरण के लिए एक पेज खींचें।
- स्क्रीनशॉट और छवियांछवियां जनरेट करें या OCR के साथ स्क्रीनशॉट से टेक्स्ट पढ़ें।
- ऑर्केस्ट्रेशनसमानांतर सब-एजेंट, बड़े मॉडल पर चलाएं, स्किल्स, वर्जन कंट्रोल।
- अनुमोदन मोडAuto-run, Ask first, Plan only आपके नियंत्रण के लिए।
- Cronसेट समय पर स्वचालित रूप से चलने के लिए प्रॉम्प्ट शेड्यूल करें।
- मॉडलक्लाउड API, स्थानीय पीसी मॉडल, या टेस्ट बटन के साथ बिल्ट-इन मॉडल।
यह कैसे मदद करता है
आप स्क्रिप्ट लिखते हैं, एजेंट उन्हें चलाता है, और Ask first मोड में आप हर बदलाव को लागू होने से पहले अनुमोदित करते हैं।
सटीक मिलान के साथ CSV फ़ाइल का स्कोर करें।
- write_file
score_results.pyसहेजा गया - edit_file
score_results.py+2 - Shell
python score_results.pyएग्जिट 0 - read_file
results.csvपढ़ा - write_file
report.jsonसहेजा गया
अगले चरण से पहले आपकी पुष्टि की प्रतीक्षाअस्वीकार करेंस्वीकार करें
वॉकथ्रू
एक लघु भाषा मॉडल टेस्ट चलाएं
write_file का उपयोग करके अपनी इवैलुएशन स्क्रिप्ट लिखें, और Shell आपके CSV डेटा के खिलाफ इसे चलाता है ताकि तुलना और आउटपुट के विश्लेषण के लिए परिणाम प्राप्त किए जा सकें। एग्जिट कोड जांचें। read_file के साथ आउटपुट पढ़ें ताकि संख्याओं की सावधानीपूर्वक जांच की जा सके। यह विधि एजेंटिक कोडिंग टास्क के लिए स्थानीय LLMs के लिए बेंचमार्क के लिए उपयुक्त है। एक लघु भाषा मॉडल वह मॉडल है जिसे आप इस वर्कफ़्लो में परीक्षण करते हैं। आप प्रदर्शन की तुलना करने के लिए ओपन LLM लीडरबोर्ड पर मॉडल का पुनः मूल्यांकन कर सकते हैं। Pairwise LM अपने पीसी पर स्थानीय बेंचमार्क चलाता है और सभी डेटा को निजी रखता है। बेहतर परिणामों के लिए आज ही एजेंट का उपयोग करके स्कोरिंग प्रक्रिया को स्वचालित करें।
मॉडल प्रदर्शन मेट्रिक्स की तुलना करें
Pairwise LM Windows पर स्वचालित रूप से टूल्स चलाता है, और हर एक्शन चैट में एक कार्ड के रूप में दिखाई देता है जिसमें उपयोगकर्ता के लिए वास्तविक परिणाम होता है। टेस्ट चलाएं। लेटेंसी और थ्रूपुट जैसे प्रदर्शन मेट्रिक्स का उपयोग करके दो मॉडल की तुलना करें। एजेंट अपने GPU पर आपकी मॉनिटरिंग कमांड चलाने के लिए Shell का उपयोग करता है। यह सेकंड प्रति टोकन और पीक मेमोरी उपयोग को कैप्चर करता है। आप नवीनतम बेंचमार्क पद्धति खोजने के लिए web_search का भी उपयोग कर सकते हैं। एक छोटे मॉडल के लिए स्थिरता की जांच करने के लिए रन को दोहराएं। एजेंट मशीन लर्निंग में मॉडल मूल्यांकन को स्वचालित करने के लिए एक नई स्क्रिप्ट लिखता है।
Pairwise LM क्या नहीं करता
यह एक होस्टेड सर्विस या प्लगइन नहीं है; यह केवल आपके अपने फ़ाइलों, पीसी और सर्वर्स के लिए है जिनका उपयोग आप अधिकृत हैं।
