スクリプトの作成
エージェントにscore_results.pyの作成を依頼します。
ワークフロー
機械学習のモデル評価
03
完全一致でテスト結果を採点
ベンチマークの結果を採点する短いPythonスクリプトを作成します。Pairwise LMはファイルを作成し、Shellで実行して正確な出力を表示します。Ask firstモードで変更を承認する前に、差分を確認します。
差分の確認
チャットカードで差分を確認します。
コマンドの実行
エージェントがShellでスクリプトを実行し、実際の終了コードを確認します。
出力の確認
出力から精度のパーセンテージを確認します。
採点スクリプトの例
これらの結果を採点するスクリプトを作成してください。
- write_file
score_results.py保存済み - Shell
python score_results.py終了コード 0 - read_file
score_results.py読み取り - grep
correct一致2件
次のステップに進む前に、許可を待機中拒否承認
score_results.py
results = [
("q1", "yes", "yes"),
("q2", "no", "maybe"),
("q3", "ok", "ok"),
]
correct = 0
for q, exp, ans in results:
if exp == ans:
correct += 1
print(correct)
print(len(results))このスクリプトは架空の行を完全一致で採点し、精度のパーセンテージを出力します。
機械学習モデルをローカルで評価
スクリプトの作成
エージェントに評価スクリプトの作成を依頼し、write_fileを使用してscore_results.pyを生成し、差分を確認します。エージェントはedit_fileを使用してスクリプト内のロジックを調整します。変更点はチャットカードに明確に表示されます。特定のベンチマークのニーズに完全に一致するよう、変更を承認してください。Windows PCでShellを使用してスクリプトを実行します。エージェントがツールを実行しているため、今日はベンチマークを反復テストで飽和させるだけです。スクリプトがエラーなく実行されることを確認するために結果を読み取ります。
結果の確認
ファイルを読み取ることで出力を検証し、エージェントは完全一致の件数を表示するため、期待される結果と比較できます。手法を確認します。web_searchを使用して、精度と正確性に関する公開された手法を読み取ります。エージェントはhttp_getを使用して公式のドキュメントページを読み取ります。採点ロジックが正しいことを確認するためにソースコードを確認します。異なる設定でスクリプトを再実行し、新しい結果を比較します。再現性を確保するために手法を文書化し、生データを保持します。llm翻訳ベンチマークの結果を評価する際、変更を承認する前に差分を確認します。
