AI 모델 연결하기

Pairwise LM은 표준 API 엔드포인트를 통해 클라우드 제공업체에 연결하거나, PC에서 로컬로 실행되는 모델 또는 내장 모델을 사용할 수 있습니다. 엔드포인트를 선택하고 작동 여부를 확인한 후, 모든 동작을 완전히 제어하며 평가 스크립트를 실행하세요.

모델 소스 선택

클라우드 API 엔드포인트

표준 API 엔드포인트를 사용하여 클라우드 AI 제공업체에 연결하세요. 이 옵션은 프롬프트를 원격 서버로 전송하므로 텍스트가 기기 외부로 나갑니다. 표준 인터페이스를 지원하는 모든 제공업체를 사용할 수 있으며, 데이터가 전송될 엔드포인트를 직접 제어할 수 있습니다. 하드웨어에 맞지 않는 대규모 모델을 사용할 때 이 옵션을 활용하세요.

로컬 PC 모델

로컬 하드웨어를 사용하여 Windows 데스크톱에서 모델을 직접 실행하세요. 이 옵션을 사용하면 데이터가 기기 외부로 나가지 않아 프롬프트가 컴퓨터에 그대로 유지됩니다. 에이전트가 평가 스크립트를 실행하는 동안 자체 벤더 도구를 사용하여 GPU 메모리와 속도를 모니터링할 수 있습니다.

내장 모델

내장 모델은 별도의 엔드포인트나 API 키 없이 바로 사용할 수 있습니다.

연결 확인

테스트 버튼을 클릭하여 엔드포인트가 응답하는지 확인하세요. 응답 시간과 컨텍스트 창 크기가 표시됩니다. 이는 자체 벤치마크를 대체하는 것이 아닙니다.

올바른 모델 선택

run_on_model을 사용하여 더 큰 모델에 어려운 단계를 전송하세요. 해당 모델이 클라우드 엔드포인트인 경우, 해당 단계의 텍스트가 제공업체로 전송됩니다.

모델 간 품질 차이가 있으므로 변경 사항을 수락하기 전에 항상 diff를 검토하세요. Ask first를 사용하여 무언가를 변경하는 모든 작업 전에 일시 정지하세요. 이렇게 하면 평가 스크립트나 결과 파일에 영구적으로 적용되기 전에 모델이 수행하는 정확한 변경 사항을 확인할 수 있습니다.