Controle local
chats, pastas de trabalho e chaves de API ficam no PC; os prompts vão apenas para o endpoint que você escolher
Produto
Benchmark de LLMs pequenos no seu PC
01
O Pairwise LM ajuda você a executar seus próprios benchmarks de LLM no Windows. Compare métricas de desempenho localmente com controle total. Com um modelo local, nada sai do PC; com um endpoint na nuvem, o texto do prompt vai para o provedor escolhido.
Resultados reais
Veja a saída real do comando.
Qualquer modelo
Use APIs locais ou na nuvem, ou o modelo integrado.
Recursos
- Arquivosler, gravar, editar, excluir, listar, grep, copiar, mover, criar pasta.
- Shellexecutar comandos, ver código de saída, compilar, lintar, testar localmente ou via SSH.
- Webpesquisar na internet ou buscar uma página para documentação.
- Capturas de tela e imagensgerar imagens ou ler texto de capturas de tela com OCR.
- Orquestraçãosub-agentes paralelos, execução em modelos maiores, habilidades, controle de versão.
- Modos de aprovaçãoAuto-run, Ask first, Plan only para seu controle.
- Cronagendar prompts para serem executados automaticamente em horários definidos.
- ModelosAPI na nuvem, modelo local no PC ou modelo integrado com botão de teste.
Como ajuda
Você escreve os scripts, o agente os executa e, no modo Ask first, você aprova cada alteração antes que ela seja aplicada.
Avalie o arquivo CSV com correspondência exata.
- write_file
score_results.pysalvo - edit_file
score_results.py+2 - Shell
python score_results.pyexit 0 - read_file
results.csvler - write_file
report.jsonsalvo
aguardando sua aprovação antes da próxima etapaRejeitarAceitar
Tutoriais
Executar teste de modelo de linguagem pequeno
Escreva seu script de avaliação com write_file, e o Shell o executa contra seus dados CSV para produzir resultados para comparação e análise da saída. Verifique o código de saída. Leia a saída com read_file para verificar os números cuidadosamente. Este método é adequado para benchmark de LLMs locais para tarefas de codificação autônoma. Um modelo de linguagem pequeno é o modelo que você testa neste fluxo de trabalho. Você pode reavaliar modelos no leaderboard de LLMs abertos para comparar o desempenho. O Pairwise LM executa benchmarks locais no seu PC e mantém todos os dados privados. Use o agente para automatizar o processo de pontuação hoje para obter melhores resultados.
Comparar métricas de desempenho de modelos
O Pairwise LM executa ferramentas autonomamente no Windows, e cada ação aparece no chat como um cartão com seu resultado real para o usuário. Execute testes. Compare dois modelos usando métricas de desempenho como latência e throughput. O agente usa o Shell para executar seu comando de monitoramento na sua GPU. Ele captura os tokens por segundo e o uso máximo de memória. Você também pode usar web_search para encontrar a metodologia de benchmark mais recente. Repita a execução para verificar a consistência para um modelo menor. O agente escreve um novo script para automatizar a avaliação de modelos em aprendizado de máquina.
O que o Pairwise LM não faz
Não é um serviço hospedado ou plugin; destina-se apenas aos seus próprios arquivos, PC e servidores que você está autorizado a usar.
