бенчмарки малых языковых моделей на вашем ПК

Возможности

• Файлычтение, запись, редактирование, удаление, список, grep, копирование, перемещение, создание папки.
• Shellзапуск команд, просмотр кода выхода, сборка, линтинг, тестирование локально или через SSH.
• Вебпоиск в интернете или получение одной страницы для документации.
• Скриншоты и изображениягенерация изображений или чтение текста со скриншотов с помощью OCR.
• Оркестрацияпараллельные субагенты, запуск на более крупных моделях, навыки, контроль версий.
• Режимы одобренияAuto-run, Ask first, Plan only для вашего контроля.
• Cronпланирование промптов для автоматического запуска в заданное время.
• Моделиоблачный API, локальная модель ПК или встроенная модель с кнопкой теста.

Руководства

Запуск теста малой языковой модели

Напишите скрипт оценки с помощью write_file, и Shell выполнит его для ваших CSV-данных, чтобы получить результаты для сравнения и анализа вывода. Проверьте код выхода. Прочитайте вывод с помощью read_file, чтобы тщательно проверить цифры. Этот метод подходит для бенчмарков локальных LLM для агентивных задач кодирования. Малая языковая модель — это модель, которую вы тестируете в этом рабочем процессе. Вы можете повторно оценивать модели на открытых рейтингах LLM, чтобы сравнить производительность. Pairwise LM запускает локальные бенчмарки на вашем ПК и сохраняет все данные в приватности. Используйте агента для автоматизации процесса оценки уже сегодня для лучших результатов.

Сравнение метрик производительности моделей

Pairwise LM автономно запускает инструменты в Windows, и каждое действие отображается в чате в виде карточки с его реальным результатом для пользователя. Запустите тесты. Сравните две модели с использованием метрик производительности, таких как задержка и пропускная способность. Агент использует Shell для запуска вашей команды мониторинга на вашей GPU. Он фиксирует токены в секунду и пиковое использование памяти. Вы также можете использовать web_search для поиска последней методологии бенчмарков. Повторите запуск, чтобы проверить согласованность для меньшей модели. Агент пишет новый скрипт для автоматизации оценки моделей в машинном обучении.