Pairwise LM
Робочі процеси

оцінка моделей у машинному навчанні

03
Оцінка результатів тестів

Оцінка результатів тестів за точним збігом

Ви пишете короткий Python-скрипт для оцінки результатів бенчмарку. Pairwise LM створює файл, запускає його в Shell і показує точний вивід. Ви перевіряєте diff перед прийняттям змін у режимі Ask first.

01

Створення скрипта

Ви просите агента написати score_results.py.

02

Перевірка diff

Ви перевіряєте diff у картці чату.

03

Запуск команди

Агент запускає скрипт у Shell, і ви перевіряєте реальний код виходу.

04

Перевірка виводу

Ви перевіряєте відсоток точності з виводу.

Приклад скрипта оцінки

score_results.py
results = [
    ("q1", "yes", "yes"),
    ("q2", "no", "maybe"),
    ("q3", "ok", "ok"),
]
correct = 0
for q, exp, ans in results:
    if exp == ans:
        correct += 1
print(correct)
print(len(results))

Цей скрипт оцінює вигадані рядки за точним збігом і виводить відсоток точності.

Локальна оцінка моделі машинного навчання

Написання скрипта

Попросіть агента створити ваш скрипт оцінки, і він використає write_file для генерації score_results.py для оцінки моделей у машинному навчанні та перегляду diff. Перегляньте diff. Агент використовує edit_file для налаштування логіки всередині скрипта. Ви бачите зміни чітко відображеними в картці чату. Прийміть зміни, щоб точно відповідати потребам вашого конкретного бенчмарку. Використовуйте Shell для запуску скрипта на вашому ПК з Windows. Ми просто насичуємо бенчмарки повторюваними тестами сьогодні, тому що агент запускає інструменти. Прочитайте результати, щоб підтвердити, що скрипт працює без помилок.

Перевірка результатів

Ви перевіряєте вивід, читаючи файл, і агент показує точну кількість збігів, щоб ви могли порівняти його з очікуваними результатами. Перевірте метод. Використовуйте web_search, щоб прочитати опублікований метод точності та правильності. Агент використовує http_get для читання сторінки офіційної документації. Ви переглядаєте вихідний код, щоб переконатися, що логіка оцінки правильна. Запустіть скрипт знову з іншими налаштуваннями та порівняйте нові результати. Документуйте метод і зберігайте сирі виводи, щоб забезпечити відтворюваність. Ви переглядаєте diff перед прийняттям змін, коли оцінюєте результати моделей машинного навчання для бенчмарку перекладу llm.

Pairwise LM для Windows

Почніть свою оцінку

Завантажити Pairwise LM ↗