Lokale controle
chats, werkmap en API-sleutels blijven op de pc; prompts gaan alleen naar het endpoint dat je kiest
Product
Benchmarken van kleine taalmodellen op je pc
01
Pairwise LM helpt je je eigen LLM-benchmarks uit te voeren op Windows. Je vergelijkt modelprestaties lokaal met volledige controle. Bij een lokaal model blijft alles op de pc; bij een cloud-endpoint gaat je prompttekst naar die provider.
Echte resultaten
Zie de daadwerkelijke uitvoer van de opdracht.
Elk model
Gebruik lokale of cloud-API's, of het ingebouwde model.
Functies
- Bestandenlezen, schrijven, bewerken, verwijderen, lijst, grep, kopiëren, verplaatsen, map maken.
- Shellopdrachten uitvoeren, exitcode zien, bouwen, linten, testen lokaal of via SSH.
- Webzoek op het web of haal één pagina op voor documentatie.
- Schermafbeeldingen en afbeeldingengenereer afbeeldingen of lees tekst uit schermafbeeldingen met OCR.
- Orkestratieparallelle sub-agents, uitvoeren op grotere modellen, vaardigheden, versiebeheer.
- Keuzemodi voor goedkeuringAuto-run, Ask first, Plan only voor jouw controle.
- Cronplan prompts om automatisch uit te voeren op ingestelde tijden.
- Modellencloud-API, lokaal pc-model, of ingebouwd model met testknop.
Hoe het helpt
Je schrijft scripts, de agent voert ze uit, en in Ask first-modus keur je elke wijziging goed voordat deze wordt toegepast.
Beoordeel het CSV-bestand met exacte match.
- write_file
score_results.pyopgeslagen - edit_file
score_results.py+2 - Shell
python score_results.pyexit 0 - read_file
results.csvgelezen - write_file
report.jsonopgeslagen
wacht op jouw goedkeuring voordat de volgende stap wordt uitgevoerdWeigerenAccepteren
Uitlegvideo's
Een test met een klein taalmodel uitvoeren
Schrijf je evaluatiescript met write_file, en Shell voert het uit tegen je CSV-gegevens om resultaten te produceren voor vergelijking en analyse van de uitvoer. Controleer de exitcode. Lees de uitvoer met read_file om de cijfers zorgvuldig te verifiëren. Deze methode is geschikt voor benchmarken van lokale llms voor agentic coding-taken. Een klein taalmodel is het model dat je in dit workflow test. Je kunt modellen opnieuw evalueren op de open llm leaderboard om prestaties te vergelijken. Pairwise LM voert lokale benchmarks uit op je pc en houdt alle gegevens privé. Gebruik de agent vandaag nog om het scoreproces te automatiseren voor betere resultaten.
Modelprestaties vergelijken
Pairwise LM voert tools autonoom uit op Windows, en elke actie verschijnt in de chat als een kaart met het echte resultaat voor de gebruiker. Voer tests uit. Vergelijk twee modellen met prestatiemetrieken zoals latentie en doorvoer. De agent gebruikt Shell om je bewakingsopdracht op je GPU uit te voeren. Het registreert tokens per seconde en piekgeheugengebruik. Je kunt ook web_search gebruiken om de nieuwste benchmarkmethodologie te vinden. Herhaal de run om consistentie te controleren voor een kleiner model. De agent schrijft een nieuw script om de modelevaluatie in machine learning te automatiseren.
Wat Pairwise LM niet doet
Het is geen gehoste service of plugin; het is bedoeld voor je eigen bestanden, pc en servers die je geautoriseerd bent te gebruiken.
