Lokale Kontrolle
Chats, Arbeitsordner und API-Schlüssel bleiben auf dem PC; Prompts werden nur an das von dir gewählte Endpunkt gesendet.
Produkt
LLM-Benchmarks für kleine Modelle auf deinem PC
01
Pairwise LM hilft dir, eigene LLM-Benchmarks unter Windows auszuführen. Du vergleichst die Modellleistung lokal und hast die volle Kontrolle. Bei einem lokalen Modell verlässt nichts den PC; bei einem Cloud-Endpunkt wird der Prompt an diesen Anbieter gesendet.
Echte Ergebnisse
Sieh dir die tatsächliche Befehlsausgabe an.
Jedes Modell
Nutze lokale oder Cloud-APIs oder das integrierte Modell.
Funktionen
- Dateienlesen, schreiben, bearbeiten, löschen, auflisten, grep, kopieren, verschieben, Verzeichnis erstellen.
- ShellBefehle ausführen, Exit-Code anzeigen, lokal oder per SSH bauen, linten und testen.
- Webim Internet suchen oder eine Seite zur Dokumentation abrufen.
- Screenshots und BilderBilder generieren oder Text aus Screenshots mit OCR lesen.
- Orchestrierungparallele Sub-Agents, Ausführung auf größeren Modellen, Skills, Versionskontrolle.
- GenehmigungsmodiAuto-run, Ask first, Plan only für deine Kontrolle.
- CronPrompts zu festgelegten Zeiten automatisch ausführen lassen.
- ModelleCloud-API, lokales PC-Modell oder integriertes Modell mit Test-Button.
So hilft es dir
Du schreibst Skripte, der Agent führt sie aus, und im Modus Ask first genehmigst du jede Änderung, bevor sie übernommen wird.
Bewerte die CSV-Datei mit exakter Übereinstimmung.
- write_file
score_results.pygespeichert - edit_file
score_results.py+2 - Shell
python score_results.pyexit 0 - read_file
results.csvgelesen - write_file
report.jsongespeichert
wartet auf Ihre Bestätigung vor dem nächsten SchrittAblehnenAkzeptieren
Anleitungen
Test eines kleinen Sprachmodells ausführen
Erstelle dein Evaluierungsskript mit write_file. Shell führt es gegen deine CSV-Daten aus, um Ergebnisse für den Vergleich und die Analyse der Ausgabe zu erzeugen. Prüfe den Exit-Code. Lies die Ausgabe mit read_file, um die Zahlen sorgfältig zu überprüfen. Diese Methode eignet sich für Benchmarks lokaler LLMs bei agentic Coding-Aufgaben. Ein kleines Sprachmodell ist das Modell, das du in diesem Workflow testest. Du kannst Modelle auf dem Open LLM Leaderboard neu bewerten, um die Leistung zu vergleichen. Pairwise LM führt lokale Benchmarks auf deinem PC aus und hält alle Daten privat. Nutze den Agenten noch heute, um den Bewertungsprozess zu automatisieren, um bessere Ergebnisse zu erzielen.
Modellleistungsdaten vergleichen
Pairwise LM führt Tools autonom unter Windows aus, und jede Aktion erscheint im Chat als Karte mit ihrem tatsächlichen Ergebnis für den Benutzer. Führe Tests durch. Vergleiche zwei Modelle anhand von Leistungsdaten wie Latenz und Durchsatz. Der Agent nutzt Shell, um deinen Überwachungsbefehl auf deiner GPU auszuführen. Er erfasst die Tokens pro Sekunde und den maximalen Speicherverbrauch. Du kannst auch web_search nutzen, um die neueste Benchmark-Methodik zu finden. Wiederhole den Lauf, um die Konsistenz für ein kleineres Modell zu prüfen. Der Agent schreibt ein neues Skript, um die Modellauswertung im Machine Learning zu automatisieren.
Was Pairwise LM nicht tut
Es ist kein gehosteter Dienst oder Plugin; es ist nur für deine eigenen Dateien, deinen PC und Server gedacht, die du nutzen darfst.
