Contrôle local
Les chats, les dossiers de travail et les clés API restent sur le PC ; les prompts ne sont envoyés qu'au point de terminaison que vous choisissez.
Produit
Benchmarking des petits LLM sur votre PC
01
Pairwise LM vous aide à lancer vos propres benchmarks LLM sous Windows. Comparez les métriques de performance des modèles en local, avec un contrôle total. Avec un modèle local, rien ne quitte le PC ; avec un point de terminaison cloud, votre prompt est envoyé à ce fournisseur.
Résultats réels
Consultez la sortie réelle des commandes.
Tout modèle
Utilisez des API locales ou cloud, ou le modèle intégré.
Fonctionnalités
- Fichiers lire, écrire, modifier, supprimer, lister, grep, copier, déplacer, créer un dossier.
- Shell exécuter des commandes, voir le code de sortie, compiler, vérifier le style, tester en local ou via SSH.
- Web rechercher sur le web ou récupérer une seule page pour la documentation.
- Captures d'écran et images générer des images ou lire du texte depuis des captures d'écran avec OCR.
- Orchestration sous-agents en parallèle, exécution sur des modèles plus grands, compétences, contrôle de version.
- Modes d'approbation Auto-run, Ask first, Plan only pour votre contrôle.
- Cron planifier des prompts pour qu'ils s'exécutent automatiquement à des heures fixes.
- Modèles API cloud, modèle local sur le PC, ou modèle intégré avec bouton de test.
Comment ça aide
Vous écrivez les scripts, l'agent les exécute, et en mode Ask first, vous validez chaque modification avant son application.
Scorer le fichier CSV avec correspondance exacte.
- write_file
score_results.pysauvegardé - edit_file
score_results.py+2 - Shell
python score_results.pyexit 0 - read_file
results.csvlecture - write_file
report.jsonsauvegardé
en attente de votre validation avant l’étape suivanteRefuserAccepter
Tutoriels
Lancer un test de petit LLM
Écrivez votre script d'évaluation avec write_file, et Shell l'exécute sur vos données CSV pour produire des résultats à comparer et analyser. Vérifiez le code de sortie. Lisez la sortie avec read_file pour vérifier soigneusement les chiffres. Cette méthode convient aux benchmarks de petits LLM locaux pour les tâches de codage agentique. Un petit LLM est le modèle que vous testez dans ce flux de travail. Vous pouvez réévaluer les modèles sur le classement LLM ouvert pour comparer les performances. Pairwise LM lance des benchmarks locaux sur votre PC et garde toutes les données privées. Utilisez l'agent pour automatiser le processus de scoring dès aujourd'hui pour de meilleurs résultats.
Comparer les métriques de performance des modèles
Pairwise LM exécute des outils de manière autonome sous Windows, et chaque action apparaît dans le chat sous forme de carte avec son résultat réel pour l'utilisateur. Lancez des tests. Comparez deux modèles à l'aide de métriques de performance comme la latence et le débit. L'agent utilise Shell pour exécuter votre commande de surveillance sur votre GPU. Il capture les tokens par seconde et l'utilisation maximale de la mémoire. Vous pouvez également utiliser web_search pour trouver la dernière méthodologie de benchmark. Répétez l'exécution pour vérifier la cohérence pour un modèle plus petit. L'agent écrit un nouveau script pour automatiser l'évaluation des modèles en apprentissage automatique.
Ce que ne fait pas Pairwise LM
Ce n'est pas un service hébergé ou un plugin ; il est destiné uniquement à vos propres fichiers, PC et serveurs que vous êtes autorisé à utiliser.
