Connecter un modèle IA
Pairwise LM se connecte à un fournisseur cloud via un point de terminaison API standard, à un modèle exécuté localement sur votre PC ou au modèle intégré. Vous choisissez le point de terminaison, vérifiez qu'il fonctionne, puis lancez vos scripts d'évaluation avec un contrôle total sur chaque action.
Choisissez la source de votre modèle
Point de terminaison API cloud
Connectez-vous à un fournisseur d'IA cloud via un point de terminaison API standard. Cette option envoie vos invites à un serveur distant, donc le texte quitte votre machine. Vous pouvez utiliser tout fournisseur prenant en charge l'interface standard, et vous contrôlez quel point de terminaison reçoit vos données. Utilisez cette option pour les grands modèles qui ne tiennent pas sur votre matériel.
Modèle sur PC local
Exécutez un modèle directement sur votre bureau Windows en utilisant le matériel local. Aucune donnée ne quitte votre machine lorsque vous utilisez cette option, garantissant que vos invites restent sur votre ordinateur. Vous pouvez surveiller la mémoire GPU et la vitesse à l'aide de vos propres outils fournisseur pendant que l'agent exécute vos scripts d'évaluation.
Modèle intégré
Le modèle intégré est prêt à l'emploi sans votre propre point de terminaison ou clé API.
Vérifiez votre connexion
Cliquez sur le bouton Test pour vérifier que le point de terminaison répond. Il affiche le temps de réponse et la taille de la fenêtre de contexte. Ceci ne remplace pas votre propre benchmark.
Sélectionnez le bon modèle
Utilisez run_on_model pour envoyer une étape difficile à un modèle plus grand. Si ce modèle est un point de terminaison cloud, le texte de cette étape est envoyé au fournisseur.
La qualité varie d'un modèle à l'autre, alors examinez toujours la différence avant d'accepter les modifications. Utilisez Ask first pour mettre en pause avant chaque action qui modifie quelque chose. Cela garantit que vous voyez exactement les modifications que le modèle apporte à vos scripts d'évaluation ou à vos fichiers de résultats avant qu'elles ne soient appliquées définitivement.
