Criar script
Você pede ao agente para escrever score_results.py.
Fluxos de trabalho
avaliação de modelos em machine learning
03
Avaliar resultados de teste com correspondência exata
Você escreve um script Python curto para avaliar os resultados do benchmark. O Pairwise LM cria o arquivo, executa no Shell e mostra a saída exata. Você revisa o diff antes de aceitar as alterações no modo Ask first.
Revisar diff
Você verifica o diff no cartão de chat.
Executar comando
O agente executa o script no Shell e você lê o código de saída real.
Verificar saída
Você lê a porcentagem de acerto na saída.
Exemplo de script de avaliação
Escreva um script para avaliar esses resultados.
- write_file
score_results.pysalvo - Shell
python score_results.pyexit 0 - read_file
score_results.pyler - grep
correct2 correspondências
aguardando sua aprovação antes da próxima etapaRejeitarAceitar
score_results.py
results = [
("q1", "yes", "yes"),
("q2", "no", "maybe"),
("q3", "ok", "ok"),
]
correct = 0
for q, exp, ans in results:
if exp == ans:
correct += 1
print(correct)
print(len(results))Este script avalia linhas fictícias com correspondência exata e imprime a porcentagem de acerto.
Avaliar modelo de machine learning localmente
Escrever script
Peça ao agente para criar seu script de avaliação e ele usará write_file para gerar score_results.py para avaliação de modelos em machine learning e revisar o diff. Revise o diff. O agente usa edit_file para ajustar a lógica dentro do script. Você vê as alterações exibidas claramente no cartão de chat. Aceite as alterações para corresponder exatamente às necessidades do seu benchmark específico. Use Shell para executar o script no seu PC Windows. Estamos apenas saturando benchmarks com testes repetitivos hoje porque o agente executa as ferramentas. Leia os resultados para confirmar que o script é executado sem erros.
Verificar resultados
Você verifica a saída lendo o arquivo, e o agente mostra a contagem de correspondências exatas para que você possa compará-la com seus resultados esperados. Verifique o método. Use web_search para ler o método publicado para precisão e correção. O agente usa http_get para ler a página de documentação oficial. Você revisa o código-fonte para garantir que a lógica de avaliação está correta. Execute o script novamente com configurações diferentes e compare os novos resultados. Documente o método e mantenha as saídas brutas para garantir a reprodutibilidade. Você revisa o diff antes de aceitar alterações quando avalia resultados de modelos em machine learning para benchmark de tradução llm.
