2.9.26
2 नवंबर 2026 को जारी
Pairwise LM आपके स्क्रिप्ट्स को चलाकर एक llm लीडरबोर्ड बनाता है, और संस्करण 2.9.26 आपको स्थानीय हार्डवेयर पर प्रदर्शन मापने में मदद करता है। आपकी निजी तालिका।
score_results.pyसहेजा गयाscore_results.py+3python score_results.pyexit 0score_results.py8 पंक्तियाँaccuracy0 मिलान2 नवंबर 2026 को जारी
मानक इंस्टॉलर आकार
सिंगल .exe फ़ाइल
इंटरफ़ेस भाषाएँ
फ़ाइल मैन्युपलेशन टूल्स
Auto-run, Ask first, Plan only
llm benchmarks में कठोर पुनरुत्पादकता और सटीक स्कोरिंग की आवश्यकता होती है, इसलिए आप अपने स्वयं के मूल्यांकन स्क्रिप्ट्स को स्थानीय रूप से चलाने से पहले कार्य और स्कोरिंग नियम परिभाषित करते हैं। परिणाम जाँचें। हर एक्शन चैट में एक कार्ड के रूप में दिखाई देता है जिसमें उसका वास्तविक परिणाम होता है ताकि प्रक्रिया की पुष्टि की जा सके। संस्करण 2.9.26 इसकी पूर्ण रूप से सहायता करता है और टूल्स स्वयं चलाता है।
edit_file दृश्यमान diff के साथ परिवर्तन लागू करता है, इसलिए आप हर संशोधन की समीक्षा करते हैं कि उसे सहेजे जाने से पहले, और Shell आपके पीसी पर स्क्रिप्ट को निष्पादित करता है ताकि वास्तविक आउटपुट और एक्ज़िट कोड लौटाया जा सके। सटीक कार्य। write_file मूल्यांकन स्क्रिप्ट बनाता है जबकि read_file आपके अवलोकन के लिए उत्पन्न फ़ाइल की पूर्ण सामग्री प्रदर्शित करता है। grep पाठ में विशिष्ट पैटर्न खोजता है ताकि आप वर्कस्पेस में प्रासंगिक डेटा को खोजने में मदद मिल सके। Pairwise LM संस्करण 2.9.26 आपके कोड के लिए llm मूल्यांकन को सटीकता से संभालता है और ai model benchmark कार्यों का समर्थन करता है। ये benchmarks जो सहमति की प्रवृत्ति को मापते हैं, सटीक मूल्यांकन के लिए आवश्यक हैं।
write_file score_results.py → saved
edit_file score_results.py → +24
Shell python score_results.py → exit 0Shell टर्मिनल कमांड्स को निष्पादित करता है ताकि आपका बिल्ड और परीक्षण वर्कफ़्लो चलाया जा सके, जबकि read_file आपके रिकॉर्ड और benchmark परिणामों के विश्लेषण के लिए सहेजे गए आउटपुट को पुनर्प्राप्त करता है। फ़ाइलें संपादित करें। grep लॉग में विशिष्ट टोकन खोजता है और डेटा से शोर को फ़िल्टर करता है। edit_file स्क्रिप्ट को बदलता है और आपको परिवर्तन की मंजूरी देने से पहले एक diff दिखाता है। वर्तमान संस्करण 2.9.26 Windows 10/11 पर इन टूल्स का समर्थन करता है। परिणामों को सावधानी से जाँचें ताकि सुनिश्चित किया जा सके कि सब कुछ सही है और समीक्षा के लिए तैयार है।
Shell gpu_monitor --tokens_per_sec --first_token --peak_memory --model local_model --repeats 3
read_file results/throughput_metrics.csv
grep "peak_memory" results/throughput_metrics.csvयुग्मवार तुलना दिखाती है कि कौन सा मॉडल बेहतर है, इसलिए write_file बाद के विश्लेषण के लिए दोनों उत्तर सहेजता है और Shell तुलना स्क्रिप्ट को निष्पादित करता है ताकि कई प्रॉम्प्ट्स में जीत की गणना की जा सके। इसे चलाएँ। उपयोगकर्ता द्वारा बाद के विश्लेषण के लिए आउटपुट सहेजने के लिए write_file का उपयोग करें। Shell स्क्रिप्ट को निष्पादित करता है और पुष्टि के लिए एक्ज़िट कोड लौटाता है। प्रत्येक मॉडल के लिए कई प्रॉम्प्ट्स across जीत की गणना करें ताकि नेता का निर्धारण किया जा सके। संस्करण 2.9.26 सटीक बेंचमार्किंग के लिए इस वर्कफ़्लो का समर्थन करता है।
write_file model_a.txt → saved
write_file model_b.txt → saved
Shell python compare.py → exit 0एजेंट परिणाम फ़ाइलों को पढ़ता है और माध्य और प्रसार की गणना करता है ताकि आप चैट में तालिका की समीक्षा कर सकें और स्कोर की सटीकता की पुष्टि कर सकें। संख्याएँ जाँचें। वैश्विक उपयोगकर्ताओं के लिए आसान पहुंच के लिए 13 भाषाओं में इंटरफ़ेस। read_file डेटा पढ़ता है, और grep आउटपुट के भीतर विशिष्ट पैटर्न खोजता है। यह ai model comparison के लिए उच्च सटीकता के साथ आपकी स्वयं की रैंकिंग बनाता है। Shell परिणामों को प्रक्रिया करने और एक्ज़िट कोड की पुष्टि करने के लिए कमांड चलाता है।
read_file results.csv → 50 rows
Shell python stats.py → exit 0
grep mean stats.py → 1 matchPairwise LM संस्करण 2.9.26 आपके कमांड्स को चलाता है और एक कार्ड पर वास्तविक परिणाम दिखाता है, जबकि एक चैट सहायक केवल एक्शन्स का सुझाव देता है। पूर्ण नियंत्रण।
| सामान्य चैट सहायक | Pairwise LM | |
|---|---|---|
| क्रिया | टूल्स स्वयं चलाता है | Ask first |
| परिणाम | पाठ सारांश दिखाता है | वास्तविक आउटपुट कार्ड दिखाता है |
| नियंत्रण | स्वचालित रूप से चलाता है | Ask first or Auto-run |
| फ़ाइलें | आपके द्वारा पेस्ट किए गए पाठ पर काम करता है | फ़ाइलों को पढ़ता और लिखता है |
शोधकर्ता अपना स्वयं का स्कोरिंग लॉजिक लिखते हैं और कच्चे आउटपुट को स्कोर के बगल में रखने के लिए इसे अपने हार्डवेयर पर चलाते हैं। फ़ाइलें गिनें। आज स्थानीय मशीन पर सटीकता की पुष्टि करने के लिए 5 परीक्षण चलाएँ।
इंजीनियर स्थानीय GPU पर अपने स्वयं के benchmarks चलाते हैं और एजेंट ai model comparison के लिए उनके हार्डवेयर पर लेटेंसी और मेमोरी उपयोग को कैप्चर करता है। वे सावधानी से समीक्षा करते हैं। आउटपुट एक कार्ड के रूप में दिखाई देता है जिसमें वास्तविक परिणाम और विवरण होते हैं।
छात्र इसका उपयोग llm benchmarks के बारे में सीखने के लिए करते हैं, और वे उत्तरों को स्कोर करने के लिए सरल स्क्रिप्ट्स लिखते हैं जबकि एजेंट स्क्रिप्ट्स चलाता है और परिणाम दिखाता है। यह मदद करता है। वे उपयोग की गई सटीक कमांड्स देखते हैं और प्रक्रिया को समझते हैं।
एक benchmark कार्यों का एक निश्चित सेट है जिसके साथ एक स्कोरिंग नियम है, इसलिए अलग-अलग मॉडल्स को एक ही कार्य पर तुलना की जा सकती है, और आप कार्य परिभाषित करते हैं। सेटिंग्स फिक्स करें। अपने मूल्यांकन स्क्रिप्ट्स में पुनरुत्पादकता के लिए संस्करण रिकॉर्ड करें।
हाँ, lmbenchmarks.com आधिकारिक Pairwise LM वेबसाइट है, और डाउनलोड बटन Windows सेटअप प्रोग्रम (लगभग 34 MB) प्रदान करता है जिसे आपको प्रकाशित मैनिफेस्ट के साथ अपने SHA-256 चेकसम की तुलना करके सत्यापित करना चाहिए। हैश जाँचें। डाउनलोड के लिए स्थिर साइट के दौरे पर IP लॉगिंग होती है।
Pairwise LM एक स्वतंत्र एजेंट है जो आपके मूल्यांकन स्क्रिप्ट्स को Shell के माध्यम से चलाता है और उन्हें diff के साथ संपादित करता है, इसलिए आप मॉडल उत्तरों की साइड-बाय-साइड तुलना कर सकते हैं। यह स्थानीय रूप से काम करता है। यह हर एक्शन के लिए चैट में वास्तविक परिणाम दिखाता है।
एक GPU AI benchmark आपकी स्वयं की वर्कलोड को टाइमिंग करना है, इसलिए आप अपने पीसी पर या एक सर्वर पर जिसकी आप मालिक हैं, SSH के माध्यम से टोकन प्रति सेकंड और शीर्ष मेमोरी मापते हैं। वास्तविक मेट्रिक्स। हाँ, यह आपके हार्डवेयर पर टोकन प्रति सेकंड और शीर्ष मेमोरी को मापता है।
हाँ, Pairwise LM Windows 10 और 11 पर चलता है, और सेटअप प्रोग्रम 34 MB है जबकि पोर्टेबल .exe 25 MB है। खाते की आवश्यकता नहीं है। इंटरफ़ेस 13 भाषाओं में है ताकि आप इसे आसानी से उपयोग कर सकें।
SHA-256 चेकसम इंस्टॉलर फ़ाइल के लिए एक अनूकी डिजिटल फिंगरप्रिंट के रूप में कार्य करता है, और आप certutil कमांड चलाकर परिणाम को प्रकाशित मैनिफेस्ट से तुलना करके इसकी पुष्टि करते हैं। चेकसम मिलाएं। यह पुष्टि करता है कि फ़ाइल सुरक्षित इंस्टॉलेशन के लिए मैनिफेस्ट से मेल खाती है।
एक benchmark कार्यों का एक निश्चित सेट है जिसके साथ एक स्कोरिंग नियम है, इसलिए अलग-अलग मॉडल्स को आप द्वारा एक ही कार्य पर तुलना की जा सकती है। अपने पर भरोसा करें। आप हर परीक्षण के लिए प्रॉम्प्ट्स और सेटिंग्स पर नियंत्रण रखते हैं।
Windows 10 और 11 के लिए Pairwise LM संस्करण 2.9.26 डाउनलोड करें, क्योंकि सेटअप प्रोग्रम 34 MB है और पोर्टेबल संस्करण 25 MB है। इसे चलाएँ।
Windows के लिए Pairwise LM डाउनलोड करें ↗इस वेबसाइट की हर पेज 20 भाषाओं में उपलब्ध है।
उत्पाद विवरण ↗ मॉडल कॉन्फ़िगरेशन ↗ वर्कफ़्लो उदाहरण ↗ इंस्टॉलर डाउनलोड करें ↗ FAQ और सहायता ↗ गोपनीयता नीति ↗