إنشاء السكريبت
تطلب من الوكيل كتابة score_results.py.
سير العمل
تقييم النماذج في تعلم الآلة
03
تقييم نتائج الاختبار بالمطابقة الدقيقة
تكتب سكريبت Python قصير لتقييم نتائج المعيار. ينشئ Pairwise LM الملف، ويشغله في Shell، ويعرض المخرجات الدقيقة. تراجع الفرق قبل قبول التغييرات في وضع Ask first.
مراجعة الفرق
تتحقق من الفرق في بطاقة الدردشة.
تشغيل الأمر
يشغل الوكيل السكريبت في Shell وتقرأ رمز الخروج الحقيقي.
فحص المخرجات
تقرأ نسبة الدقة من المخرجات.
مثال على سكريبت التقييم
اكتب سكريبت لتقييم هذه النتائج.
- write_file
score_results.pyتم الحفظ - Shell
python score_results.pyexit 0 - read_file
score_results.pyقراءة - grep
correctمطابقتان
بانتظار موافقتك قبل الخطوة التاليةرفضقبول
score_results.py
results = [
("q1", "yes", "yes"),
("q2", "no", "maybe"),
("q3", "ok", "ok"),
]
correct = 0
for q, exp, ans in results:
if exp == ans:
correct += 1
print(correct)
print(len(results))هذا السكريبت يقيم صفوفًا افتراضية بالمطابقة الدقيقة ويطبع نسبة الدقة.
تقييم نموذج تعلم الآلة محليًا
كتابة السكريبت
اطلب من الوكيل إنشاء سكريبت التقييم الخاص بك، وسيستخدم write_file لإنشاء score_results.py لتقييم النماذج في تعلم الآلة ومراجعة الفرق. راجع الفرق. يستخدم الوكيل edit_file لضبط المنطق داخل السكريبت. ترى التغييرات معروضة بوضوح في بطاقة الدردشة. اقبل التغييرات لتتوافق تمامًا مع احتياجات المعيار المحددة لديك. استخدم Shell لتشغيل السكريبت على جهاز Windows الخاص بك. نحن فقط نشبع المعايير باختبارات متكررة اليوم لأن الوكيل يشغل الأدوات. اقرأ النتائج لتأكيد تشغيل السكريبت دون أخطاء.
فحص النتائج
تتحقق من المخرجات بقراءة الملف، ويعرض الوكيل عدد المطابقات الدقيقة لتتمكن من مقارنتها بنتائجك المتوقعة. افحص الطريقة. استخدم web_search لقراءة الطريقة المنشورة للدقة والصحة. يستخدم الوكيل http_get لقراءة صفحة الوثائق الرسمية. تراجع عن شفرة المصدر لضمان صحة منطق التقييم. شغل السكريبت مرة أخرى بإعدادات مختلفة وقارن النتائج الجديدة. وثق الطريقة واحتفظ بالمخرجات الخام لضمان إمكانية التكرار. تراجع عن الفرق قبل قبول التغييرات عندما تقيم نتائج تعلم الآلة لمعيار ترجمة LLM.
