Připojení AI modelu

Pairwise LM se připojí ke cloudovému poskytovateli přes standardní API endpoint, model běžící lokálně na vašem PC nebo vestavěný model. Vyberte endpoint, ověřte jeho funkčnost a spusťte skripty pro hodnocení s plnou kontrolou nad každou akcí.

Zdroj modelu

Cloudový API endpoint

Připojte se k cloudovému poskytovateli AI pomocí standardního API endpointu. Tato možnost odesílá vaše podněty na vzdálený server, takže text opouští váš počítač. Můžete použít jakéhokoli poskytovatele podporujícího standardní rozhraní a vy určujete, který endpoint přijímá vaše data. Použijte tuto možnost pro velké modely, které se nevejdou na váš hardware.

Lokální model na PC

Spuštějte model přímo na svém Windows desktopu pomocí místního hardwaru. Při použití této možnosti data opouští váš počítač, což zajišťuje, že vaše podněty zůstanou v počítači. Můžete sledovat paměť GPU a rychlost pomocí nástrojů výrobce, zatímco agent spouští vaše skripty pro hodnocení.

Vestavěný model

Vestavěný model je připraven k použití bez vašeho vlastního endpointu nebo API klíče.

Ověření připojení

Kliknutím na tlačítko Test zkontrolujte, zda endpoint odpovídá. Zobrazí se doba odezvy a velikost kontextového okna. Toto nenahrazuje vaše vlastní benchmarky.

Výběr modelu

Použijte run_on_model k odeslání náročného kroku většímu modelu. Pokud je tento model cloudovým endpointem, text tohoto kroku putuje k poskytovateli.

Kvalita se mezi modely liší, takže vždy zkontrolujte diff před přijetím změn. Použijte Ask first k pozastavení před každou akcí, která něco mění. To zajišťuje, že uvidíte přesné úpravy, které model provede ve vašich skriptech pro hodnocení nebo výsledkových souborech, než budou trvale aplikovány.