การวัดประสิทธิภาพโมเดลภาษาขนาดเล็กบนพีซีของคุณ

คุณสมบัติ

• ไฟล์อ่าน เขียน แก้ไข ลบ แสดงรายการ grep คัดลอก ย้าย สร้างโฟลเดอร์
• Shellรันคำสั่ง ดูรหัสการออก สร้าง ลินต์ ทดสอบในเครื่องหรือผ่าน SSH
• เว็บค้นหาเว็บหรือดึงหน้าเว็บเดียวสำหรับเอกสารประกอบ
• ภาพหน้าจอและรูปภาพสร้างรูปภาพหรืออ่านข้อความจากภาพหน้าจอด้วย OCR
• การประสานงานตัวช่วยย่อยแบบขนาน รันบนโมเดลที่ใหญ่ขึ้น ทักษะ การควบคุมเวอร์ชัน
• โหมดการอนุมัติAuto-run, Ask first, Plan only เพื่อการควบคุมของคุณ
• Cronกำหนดเวลาให้ข้อความ prompt ทำงานอัตโนมัติตามเวลาที่กำหนด
• โมเดลAPI คลาวด์ โมเดลในเครื่องพีซี หรือโมเดลในตัวที่มีปุ่มทดสอบ

บทแนะนำ

รันการทดสอบโมเดลภาษาขนาดเล็ก

เขียนสคริปต์การประเมินของคุณด้วย write_file และ Shell จะรันสคริปต์นั้นกับข้อมูล CSV ของคุณเพื่อสร้างผลลัพธ์สำหรับการเปรียบเทียบและการวิเคราะห์เอาต์พุต ตรวจสอบรหัสการออก อ่านผลลัพธ์ด้วย read_file เพื่อยืนยันตัวเลขอย่างละเอียด วิธีนี้เหมาะสำหรับการวัดประสิทธิภาพสำหรับโมเดลภาษาขนาดเล็กในเครื่องสำหรับงานโค้ดดิ้งแบบเอเจนต์ โมเดลภาษาขนาดเล็กคือโมเดลที่คุณทดสอบในเวิร์กโฟลว์นี้ คุณสามารถประเมินโมเดลใหม่บนกระดานผู้นำ LLM แบบเปิดเพื่อเปรียบเทียบประสิทธิภาพ Pairwise LM รันการวัดประสิทธิภาพในเครื่องบนพีซีของคุณและเก็บข้อมูลทั้งหมดเป็นส่วนตัว ใช้ตัวช่วยเพื่อทำให้กระบวนการให้คะแนนอัตโนมัติในวันนี้สำหรับผลลัพธ์ที่ดีขึ้น

เปรียบเทียบเมตริกการทำงานของโมเดล

Pairwise LM รันเครื่องมือโดยอัตโนมัติบน Windows และการกระทำทั้งหมดจะปรากฏในแชทเป็นการ์ดพร้อมผลลัพธ์จริงสำหรับผู้ใช้ รันการทดสอบ เปรียบเทียบโมเดลสองตัวโดยใช้เมตริกการทำงานเช่น ความหน่วงและปริมาณงาน ตัวช่วยใช้ Shell เพื่อรันคำสั่งการตรวจสอบของคุณบน GPU ของคุณ มันจับจำนวนโทเค็นต่อวินาทีและการใช้งานหน่วยความจำสูงสุด คุณยังสามารถใช้ web_search เพื่อค้นหาวิธีการวัดประสิทธิภาพล่าสุด ทำการรันซ้ำเพื่อตรวจสอบความสอดคล้องสำหรับโมเดลที่เล็กลง ตัวช่วยเขียนสคริปต์ใหม่เพื่อทำให้การประเมินโมเดลในการเรียนรู้ของเครื่องเป็นอัตโนมัติ