PCでの小規模言語モデルのベンチマーク

機能

• Filesread_file, write_file, edit_file, delete, list, grep, copy, move, make dir.
• Shellコマンドの実行、終了コードの確認、ローカルまたはSSH経由でのビルド、リンティング、テスト。
• Webウェブ検索またはドキュメント用ページ1つの取得。
• Screenshots and images画像の生成またはOCRによるスクリーンショットからのテキスト読み取り。
• Orchestration並列サブエージェント、run_on_modelでの実行、スキル、バージョン管理。
• Approval modesAuto-run, Ask first, Plan onlyであなたの制御下で実行。
• Cron設定された時刻にプロンプトを自動的に実行するスケジュール。
• ModelsクラウドAPI、ローカルPCモデル、またはテストボタン付きの内蔵モデル。

ウォークスルー

小規模言語モデルのテストを実行する

write_fileで評価スクリプトを記述し、ShellがCSVデータに対してそれを実行して、出力の比較と分析のための結果を生成します。終了コードを確認し、read_fileで出力を読み取り、数値を慎重に検証します。この方法は、エージェント型コーディングタスク用のローカルLLMのベンチマークに適しています。小規模言語モデルは、このワークフローでテストするモデルです。オープンLLMリーダーボードでモデルを再評価して性能を比較できます。Pairwise LMはPCでローカルベンチマークを実行し、すべてのデータをプライベートに保ちます。より良い結果を得るために、エージェントを使ってスコアリングプロセスの自動化を今日から始めましょう。

モデル性能指標を比較する

Pairwise LMはWindows上でツールを自律的に実行し、すべてのアクションは実際の結果をユーザーに表示するカードとしてチャットに表示されます。テストを実行し、レイテンシやスループットなどの性能指標を使用して2つのモデルを比較します。エージェントはShellを使用して、GPU上でモニタリングコマンドを実行します。1秒あたりのトークン数とピークメモリ使用量をキャプチャします。web_searchを使用して最新のベンチマーク手法を見つけることもできます。小さなモデルの整合性を確認するために実行を繰り返します。エージェントは機械学習におけるモデル評価を自動化するための新しいスクリプトを記述します。