Control local
Los chats, carpetas de trabajo y claves API permanecen en el PC; los prompts solo van al endpoint que elijas.
Producto
Benchmarking de modelos pequeños en tu PC
01
Pairwise LM te ayuda a ejecutar tus propios benchmarks de LLM en Windows. Compara métricas de rendimiento del modelo localmente con control total. Con un modelo local, nada sale del PC; con un endpoint en la nube, tu prompt se envía a ese proveedor.
Resultados reales
Ve la salida real del comando.
Cualquier modelo
Usa APIs locales o en la nube, o el modelo integrado.
Funcionalidades
- Archivosleer, escribir, editar, eliminar, listar, grep, copiar, mover, crear directorio.
- Shellejecutar comandos, ver código de salida, compilar, lintear, probar localmente o vía SSH.
- Webbuscar en internet o obtener una página para documentación.
- Capturas de pantalla e imágenesgenerar imágenes o leer texto de capturas con OCR.
- Orquestaciónsubagentes en paralelo, ejecución en modelos más grandes, habilidades, control de versiones.
- Modos de aprobaciónAuto-run, Ask first, Plan only para tu control.
- Cronprogramar prompts para que se ejecuten automáticamente en horarios establecidos.
- ModelosAPI en la nube, modelo local en PC, o modelo integrado con botón de prueba.
Cómo te ayuda
Tú escribes los scripts, el agente los ejecuta y, en modo Ask first, apruebas cada cambio antes de que se aplique.
Puntuar el archivo CSV con coincidencia exacta.
- write_file
score_results.pyguardado - edit_file
score_results.py+2 - Shell
python score_results.pyexit 0 - read_file
results.csvleído - write_file
report.jsonguardado
esperando tu aprobación antes de continuarRechazarAceptar
Guías paso a paso
Ejecutar una prueba con un modelo de lenguaje pequeño
Escribe tu script de evaluación con write_file y Shell lo ejecuta contra tus datos CSV para generar resultados que puedas comparar y analizar. Verifica el código de salida. Lee la salida con read_file para verificar los números con cuidado. Este método es adecuado para hacer benchmarks de LLMs locales en tareas de codificación con agentes. Un modelo de lenguaje pequeño es el modelo que pruebas en este flujo de trabajo. Puedes reevaluar modelos en el open llm leaderboard para comparar el rendimiento. Pairwise LM ejecuta benchmarks locales en tu PC y mantiene todos los datos privados. Usa el agente para automatizar el proceso de puntuación hoy mismo y obtener mejores resultados.
Comparar métricas de rendimiento del modelo
Pairwise LM ejecuta herramientas de forma autónoma en Windows y cada acción aparece en el chat como una tarjeta con su resultado real para el usuario. Ejecuta pruebas. Compara dos modelos utilizando métricas de rendimiento como latencia y throughput. El agente usa Shell para ejecutar tu comando de monitoreo en tu GPU. Captura los tokens por segundo y el uso máximo de memoria. También puedes usar web_search para encontrar la última metodología de benchmarking. Repite la ejecución para verificar la consistencia en un modelo más pequeño. El agente escribe un nuevo script para automatizar la evaluación del modelo en machine learning.
Lo que Pairwise LM no hace
No es un servicio alojado ni un plugin; está diseñado solo para tus propios archivos, PC y servidores que tienes autorización para usar.
