Создание скрипта
Вы просите агента написать score_results.py.
Рабочие процессы
оценка моделей машинного обучения
03
Оценка результатов тестов с точным совпадением
Вы пишете короткий Python-скрипт для оценки результатов бенчмарка. Pairwise LM создает файл, запускает его в Shell и показывает точный вывод. Вы проверяете diff перед принятием изменений в режиме Ask first.
Проверка diff
Вы проверяете diff в карточке чата.
Запуск команды
Агент запускает скрипт в Shell, и вы смотрите реальный код выхода.
Проверка вывода
Вы смотрите процент точности из вывода.
Пример скрипта оценки
Напишите скрипт для оценки этих результатов.
- write_file
score_results.pyсохранено - Shell
python score_results.pyexit 0 - read_file
score_results.pyпрочитано - grep
correct2 совпадения
ждёт вашего подтверждения перед следующим шагомОтклонитьПринять
score_results.py
results = [
("q1", "yes", "yes"),
("q2", "no", "maybe"),
("q3", "ok", "ok"),
]
correct = 0
for q, exp, ans in results:
if exp == ans:
correct += 1
print(correct)
print(len(results))Этот скрипт оценивает вымышленные строки с точным совпадением и выводит процент точности.
Локальная оценка модели машинного обучения
Написание скрипта
Попросите агента создать ваш скрипт оценки, и он использует write_file для генерации score_results.py для оценки моделей машинного обучения и проверки diff. Проверьте diff. Агент использует edit_file для корректировки логики внутри скрипта. Вы видите изменения, отображенные в карточке чата. Примите изменения, чтобы точно соответствовать требованиям вашего конкретного бенчмарка. Используйте Shell для запуска скрипта на вашем ПК Windows. Мы просто насыщаем бенчмарки повторяющимися тестами сегодня, потому что агент запускает инструменты. Прочитайте результаты, чтобы подтвердить, что скрипт запускается без ошибок.
Проверка результатов
Вы проверяете вывод, читая файл, и агент показывает количество точных совпадений, чтобы вы могли сравнить его с ожидаемыми результатами. Проверьте метод. Используйте web_search для чтения опубликованного метода точности и корректности. Агент использует http_get для чтения страницы официальной документации. Вы проверяете исходный код, чтобы убедиться, что логика оценки корректна. Запустите скрипт снова с другими настройками и сравните новые результаты. Задокументируйте метод и сохраните сырые выходные данные, чтобы обеспечить воспроизводимость. Вы проверяете diff перед принятием изменений, когда оцениваете результаты моделей машинного обучения для бенчмарка перевода llm.
