PC에서 수행하는 소형 언어 모델 벤치마크

주요 기능

• 파일읽기, 쓰기, 편집, 삭제, 목록 표시, grep, 복사, 이동, 디렉토리 생성.
• Shell명령어 실행, 종료 코드 확인, 로컬 또는 SSH를 통한 빌드, 린트, 테스트.
• 웹웹 검색 또는 문서화를 위해 단일 페이지 가져오기.
• 스크린샷 및 이미지이미지 생성 또는 OCR을 통한 스크린샷 텍스트 읽기.
• 오케스트레이션병렬 서브 에이전트, 대형 모델 실행, 스킬, 버전 관리.
• 승인 모드Auto-run, Ask first, Plan only로 직접 제어하세요.
• 크론설정된 시간에 프롬프트가 자동으로 실행되도록 예약.
• 모델클라우드 API, 로컬 PC 모델 또는 테스트 버튼이 있는 내장 모델.

사용 가이드

소형 언어 모델 테스트 실행

write_file로 평가 스크립트를 작성하고, Shell이 CSV 데이터에 대해 이를 실행하여 비교 및 출력 분석을 위한 결과를 생성합니다. 종료 코드를 확인하세요. read_file을 통해 출력을 읽어 숫자를 신중하게 검증하세요. 이 방법은 에이전트 코딩 작업을 위한 로컬 LLM 벤치마킹에 적합합니다. 소형 언어 모델은 이 워크플로우에서 테스트하는 모델입니다. 성능을 비교하기 위해 오픈 LLM 리더보드에서 모델을 재평가할 수 있습니다. Pairwise LM은 로컬 벤치마크를 PC에서 실행하며 모든 데이터를 비공개로 유지합니다. 더 나은 결과를 위해 에이전트를 사용하여 오늘 채점 프로세스를 자동화하세요.

모델 성능 지표 비교

Pairwise LM은 Windows에서 도구를 자율적으로 실행하며, 모든 작업은 사용자를 위한 실제 결과와 함께 채팅에서 카드 형태로 표시됩니다. 테스트를 실행하세요. 지연 시간 및 처리량과 같은 성능 지표를 사용하여 두 모델을 비교하세요. 에이전트는 GPU에서 모니터링 명령어를 실행하기 위해 Shell을 사용합니다. 초당 토큰 수와 최대 메모리 사용량을 캡처합니다. 최신 벤치마크 방법론을 찾기 위해 web_search를 사용할 수도 있습니다. 작은 모델의 일관성을 확인하기 위해 실행을 반복하세요. 에이전트는 머신러닝에서 모델 평가를 자동화하기 위해 새 스크립트를 작성합니다.