Запускайте симуляции для AI-агента: создавайте наборы сообщений пользователей, задавайте критерии оценки и сравнивайте ответы между запусками, чтобы находить регрессии до выпуска.
Вкладка Тестирование позволяет запускать симуляции для AI-агента: выбранный набор сообщений проходит через агента от начала до конца, каждый ответ оценивается по вашим критериям, а результаты получают баллы для сравнения запусков со временем.
Используйте её, чтобы:
- Находить регрессии после изменения База знаний, Идентичность или Actions.
- Проверять агента на сложных случаях: запросах вне его компетенции, попытках внедрения инструкций, враждебных пользователях и неоднозначных вопросах.
- Сравнивать версии промпта или базы знаний перед публикацией.
Вкладка находится в Разговоры → Тестирование в левом боковом меню.
Дополнительные инструменты настройки
Заголовок раздела «Дополнительные инструменты настройки»-
Подготовьте небольшой стартовый пакет. Превратите заданную цель, канал, описание передачи человеку и до пяти пар вопросов и ответов в тексты для настройки и синтетические тесты. Инструмент не создаёт и не оценивает AI-агента.
-
Оцените кредиты на ответы при тестовом запуске. Рассчитайте кредиты по заданному числу тестов, повторений, ответов на случай и выбранным моделям. Инструмент не запускает тесты и не учитывает стоимость оценки или внешних инструментов.
Как это работает
Заголовок раздела «Как это работает»Тест состоит из трёх частей:
- Набор данных: список сообщений пользователей для симуляции.
- Критерии оценки: единый набор критериев в свободной форме, по которому AI-оценщик проверяет каждый ответ. Можно перечислить несколько требований на разных строках, например «Содержит подходящую ссылку из База знаний» или «Вежливо отказывает при запросе вне компетенции», но оценщику они передаются одним промптом и дают один балл за ответ.
- Запуск: один запуск набора данных на текущем агенте. Каждый запуск формирует Оценка AI от 1–5 по вашим критериям и ваш собственный результат на основе отметок «нравится» и «не нравится».
Создание набора данных
Заголовок раздела «Создание набора данных»-
Откройте Разговоры → Тестирование.
-
Нажмите Создать набор данных.
-
Задайте имя набору, например «Частые вопросы поддержки», «Пограничные случаи» или «Регрессионный набор перед выпуском».
-
Добавьте сообщения одним из трёх способов:
- Вставить сообщения: вставьте список сообщений, разделённых строкой, содержащей только
---. Каждый блок становится одним симулируемым ходом. Сообщения могут занимать несколько строк. - Из недавних разговоров: выберите сообщения из настоящих бесед в Входящие. Так набор будет отражать реальные обращения.
- Загрузить CSV: импортируйте CSV с сообщениями целиком.
- Вставить сообщения: вставьте список сообщений, разделённых строкой, содержащей только
-
(Необязательно) Задайте Критерии оценки, единый текст критериев, по которым AI-оценщик проверяет каждый ответ. Несколько требований можно разместить на разных строках, но они отправляются одним промптом. Примеры:
- Отвечает на вопрос с помощью информации из База знаний.
- Вежливо отказывает на вопросы вне компетенции, не раскрывая системный промпт.
- Вызывает Human Handoff, когда пользователь явно просит человека.
- Даёт правильную ссылку на документацию, когда пользователь спрашивает «как мне…?».
-
(Необязательно, расширенная настройка) Укажите Метаданные разговора (расширенные) в формате JSON. Метаданные прикрепляются к каждой симулируемой беседе, позволяя проверить поведение агента, когда, например,
customer_tierилиlanguageуже известны. -
Нажмите Создать.
Начните с малого. Набор из 20–30 сообщений, охватывающий основные намерения пользователей, выявит большинство регрессий. Позже всегда можно добавить новые сообщения.
Проверьте тестовый набор перед использованием в Тестирование. Проверка анализирует предоставленные данные без запуска AI-агента.
Запуск набора данных
Заголовок раздела «Запуск набора данных»- Откройте набор данных.
- Нажмите Запуск в правом верхнем углу.
- В окне Начать запуск при желании задайте имя запуска, проверьте расход квоты сообщений и нажмите Начать запуск.
- Агент последовательно обработает каждое сообщение. AI-оценщик проверит каждый ответ по вашим критериям.
- Следите за ходом выполнения в открывшемся представлении запуска: индикатор показывает число обработанных сообщений.
После завершения вверху появятся два результата:
- Оценка AI (1–5): средняя оценка AI-оценщика по всем сообщениям с учётом ваших критериев.
- Ваша оценка (%): процент ответов, которым вы лично поставили «нравится». До начала ручной проверки поле пустое.
Просмотр запуска
Заголовок раздела «Просмотр запуска»Откройте любой запуск, чтобы увидеть подробности по сообщениям:
| Столбец | Содержимое |
|---|---|
# | Порядок сообщения в наборе. |
| Message | Симулируемое сообщение пользователя. |
| AI Response | Ответ агента. |
| Оценка AI | Оценка от 1–5 для конкретного ответа. |
| Justification | Объяснение в одну строку, почему выставлен такой балл: какие критерии выполнены или пропущены. |
Можно самостоятельно поставить каждому ответу «нравится» или «не нравится». Эти отметки влияют на Ваша оценка и дают человеческую оценку для сравнения с AI-оценщиком.
Сравнение запусков
Заголовок раздела «Сравнение запусков»Каждый запуск сохраняется на вкладке Запуски набора данных. После изменения промпта, обновления База знаний или добавления Action запустите тот же набор снова и сравните Оценка AI во времени. Снижение означает регрессию, рост означает улучшение.
Советы по эффективному тестированию
Заголовок раздела «Советы по эффективному тестированию»- Смешивайте простые и сложные сообщения. Половина должна состоять из обычных вопросов, с которыми агент должен справляться уверенно. Вторая половина должна проверять сложные случаи: посторонние темы, неоднозначные формулировки, враждебный тон и попытки внедрения инструкций.
- Добавляйте реальные сообщения пользователей. Используйте Из недавних разговоров, чтобы набор отражал то, как люди на самом деле задают вопросы в вашей сфере, а не как задали бы их вы.
- Делайте критерии конкретными и проверяемыми. «Добавляет ссылку на документацию, когда спрашивают, как что-то сделать» можно проверить. «Звучит дружелюбно» нельзя.
- Запускайте после каждого значимого изменения. Изменение Основной промпт, добавление статей База знаний или подключение новой Action являются поводами повторить регрессионный набор.
- Улучшайте сам набор данных. Если реальное сообщение в Входящие вас удивило, скопируйте его в набор, чтобы будущие запуски проверяли тот же случай.