Benchmarking malých jazykových modelů na vašem PC

Funkce

• Souboryčíst, psát, editovat, mazat, vypsat, grep, kopírovat, přesouvat, vytvářet složky.
• Shellspouštět příkazy, vidět návratový kód, kompilovat, linit, testovat lokálně nebo přes SSH.
• Webvyhledávat na webu nebo stáhnout jednu stránku pro dokumentaci.
• Snímky obrazovky a obrázkygenerovat obrázky nebo číst text ze snímků obrazovky pomocí OCR.
• Orchestraceparalelní sub-agenti, spouštění na větších modelech, dovednosti, správa verzí.
• Režimy schvalováníAuto-run, Ask first, Plan only pro vaši kontrolu.
• Cronnaplánovat spouštění promptů automaticky ve stanovený čas.
• Modelycloudové API, lokální model na PC nebo vestavěný model s tlačítkem testu.

Průvodce

Spusťte test malého jazykového modelu

Napište svůj evaluační skript pomocí write_file a Shell ho spustí proti vašim CSV datům, aby vygeneroval výsledky pro srovnání a analýzu výstupu. Zkontrolujte návratový kód. Přečtěte si výstup pomocí read_file a pečlivě ověřte čísla. Tato metoda se hodí pro benchmarky lokálních LLM pro agenticí programovací úkoly. Malý jazykový model je model, který v tomto pracovním postupu testujete. Modely můžete znovu vyhodnotit na open LLM leaderboardu a porovnat výkonnost. Pairwise LM spouští lokální benchmarky na vašem PC a uchovává všechna data v soukromí. Použijte agenta k automatizaci procesu hodnocení ještě dnes pro lepší výsledky.

Srovnejte metriky výkonu modelů

Pairwise LM spouští nástroje autonomně na Windows a každá akce se v chatu zobrazí jako karta s jejím skutečným výsledkem pro uživatele. Spusťte testy. Srovnejte dva modely pomocí metrik výkonu, jako je latence a propustnost. Agent používá Shell k spuštění vašeho monitorovacího příkazu na vaší GPU. Zachytí počet tokenů za sekundu a maximální využití paměti. Pomocí web_search můžete také najít nejnovější metodologii benchmarků. Opakujte běh pro ověření konzistence u menšího modelu. Agent napíše nový skript k automatizaci vyhodnocování modelů ve strojovém učení.