스크립트 생성
에이전트에게 score_results.py를 작성해 달라고 요청하세요.
워크플로우
기계 학습 모델 평가
03
정확 일치로 테스트 결과 점수 매기기
벤치마크 결과를 평가하기 위한 짧은 Python 스크립트를 작성하세요. Pairwise LM이 파일을 생성하고 Shell에서 실행한 후 정확한 출력을 보여줍니다. 'Ask first' 모드에서 변경 사항을 승인하기 전에 diff를 검토하세요.
diff 검토
채팅 카드에서 diff를 확인하세요.
명령 실행
에이전트가 Shell에서 스크립트를 실행하며 실제 종료 코드를 확인합니다.
출력 확인
출력에서 정확도 퍼센트를 확인하세요.
예제 점수 매기기 스크립트
이 결과의 점수를 매기는 스크립트를 작성하세요.
- write_file
score_results.py저장됨 - Shell
python score_results.pyexit 0 - read_file
score_results.py읽기 - grep
correct2개 일치
다음 단계 전 사용자의 확인을 기다리는 중거부수락
score_results.py
results = [
("q1", "yes", "yes"),
("q2", "no", "maybe"),
("q3", "ok", "ok"),
]
correct = 0
for q, exp, ans in results:
if exp == ans:
correct += 1
print(correct)
print(len(results))이 스크립트는 임의의 행을 정확 일치로 점수 매기고 정확도 퍼센트를 출력합니다.
기계 학습 모델을 로컬에서 평가하기
스크립트 작성
에이전트에게 평가 스크립트를 생성해 달라고 요청하세요. 에이전트는 write_file을 사용하여 기계 학습 모델 평가를 위한 score_results.py 파일을 생성합니다. diff를 검토하세요. 에이전트는 edit_file을 사용하여 스크립트 내부 로직을 조정합니다. 변경 사항이 채팅 카드에 명확하게 표시됩니다. 특정 벤치마크 요구사항에 정확히 일치하도록 변경 사항을 승인하세요. Shell을 사용하여 Windows PC에서 스크립트를 실행하세요. 에이전트가 도구를 실행하므로 벤치마크를 반복 테스트로 포화시키는 중입니다. 스크립트가 오류 없이 실행되는지 확인하기 위해 결과를 읽어보세요.
결과 확인
파일을 읽어서 출력을 검증하고, 에이전트는 정확한 일치 횟수를 보여주어 예상 결과와 비교할 수 있게 합니다. 방법을 확인하세요. 정확도와 정확성에 대한 공개된 방법을 읽기 위해 web_search를 사용하세요. 에이전트는 http_get을 사용하여 공식 문서 페이지를 읽어옵니다. 점수 매기기 로직이 정확한지 확인하기 위해 소스 코드를 검토하세요. 다른 설정으로 스크립트를 다시 실행하고 새 결과를 비교하세요. 재현성을 보장하기 위해 방법론을 문서화하고 원본 출력을 보관하세요. llm 번역 벤치마크에 대한 기계 학습 모델 결과를 평가할 때 변경 사항을 승인하기 전에 diff를 검토하세요.
