Crear script
Le pides al agente que escriba score_results.py.
Flujos de trabajo
Evaluación de modelos en machine learning
03
Calificar resultados con coincidencia exacta
Escribes un script corto en Python para calificar los resultados de tu benchmark. Pairwise LM crea el archivo, lo ejecuta en Shell y muestra la salida exacta. Revisas el diff antes de aceptar los cambios en modo Ask first.
Revisar diff
Revisas el diff en la tarjeta del chat.
Ejecutar comando
El agente ejecuta el script en Shell y lees el código de salida real.
Verificar salida
Lees el porcentaje de precisión de la salida.
Script de calificación de ejemplo
Escribe un script para calificar estos resultados.
- write_file
score_results.pysaved - Shell
python score_results.pyexit 0 - read_file
score_results.pyread - grep
correct2 matches
esperando tu aprobación antes de continuarRechazarAceptar
score_results.py
results = [
("q1", "yes", "yes"),
("q2", "no", "maybe"),
("q3", "ok", "ok"),
]
correct = 0
for q, exp, ans in results:
if exp == ans:
correct += 1
print(correct)
print(len(results))Este script califica filas ficticias con coincidencia exacta e imprime el porcentaje de precisión.
Evaluar un modelo de machine learning localmente
Escribir script
Pídele al agente que cree tu script de evaluación; este usa write_file para generar score_results.py para la evaluación de modelos en machine learning y revisa el diff. Revisa el diff. El agente usa edit_file para ajustar la lógica dentro del script. Ves los cambios mostrados claramente en la tarjeta del chat. Acepta los cambios para que coincidan exactamente con las necesidades de tu benchmark específico. Usa Shell para ejecutar el script en tu PC con Windows. Solo estamos saturando benchmarks con pruebas repetitivas hoy porque el agente ejecuta las herramientas. Lee los resultados para confirmar que el script se ejecuta sin errores.
Verificar resultados
Verificas la salida leyendo el archivo, y el agente muestra el conteo de coincidencias exactas para que puedas compararlo con tus resultados esperados. Verifica el método. Usa web_search para leer el método publicado para precisión y corrección. El agente usa http_get para leer la página de documentación oficial. Revisas el código fuente para asegurar que la lógica de calificación sea correcta. Ejecuta el script nuevamente con diferentes configuraciones y compara los nuevos resultados. Documenta el método y conserva las salidas en bruto para asegurar la reproducibilidad. Revisas el diff antes de aceptar cambios cuando evalúas resultados de machine learning para el benchmark de traducción de llm.
