Перейти до вмісту

Запускайте симуляції для AI-агента: створюйте набори повідомлень користувачів, задавайте критерії оцінювання й порівнюйте відповіді між запусками, щоб виявляти регресії до випуску.

Вкладка Тестування дає змогу запускати симуляції для AI-агента: вибраний набір повідомлень проходить через агента від початку до кінця, кожна відповідь оцінюється за вашими критеріями, а результати отримують бали для порівняння запусків з часом.

Використовуйте її, щоб:

  • Виявляти регресії після зміни База знань, Ідентичність чи Actions.
  • Перевіряти агента у складних випадках: запитах поза його компетенцією, спробах ін’єкції інструкцій, спілкуванні з вороже налаштованими користувачами та неоднозначних запитаннях.
  • Порівнювати різні версії промпта чи бази знань перед рішенням про публікацію.

Вкладка розташована в Розмови → Тестування у лівій бічній панелі.

Додаткові інструменти налаштування

Section titled “Додаткові інструменти налаштування”
  • Підготуйте невеликий стартовий пакет. Перетворіть задану мету, канал, опис передавання людині й до п’яти пар запитань і відповідей на тексти для налаштування та синтетичні тести. Інструмент не створює й не оцінює AI-агента.

  • Оцініть кредити на відповіді тестового запуску. Обчисліть кредити за заданою кількістю тестів, повторень, відповідей на випадок і моделей. Інструмент не запускає тести й не враховує вартості оцінювання або зовнішніх інструментів.

Тест складається з трьох частин:

  1. Набір даних: список повідомлень користувачів для симуляції.
  2. Критерії оцінювання: єдині критерії у вільній текстовій формі, за якими AI-оцінювач перевіряє кожну відповідь. Можна перелічити кілька вимог на різних рядках, наприклад «Містить доречне посилання з База знань» чи «Ввічливо відмовляє на запит поза компетенцією», але оцінювачу вони передаються одним промптом і дають один бал за відповідь.
  3. Запуск: один запуск набору даних на поточному агенті. Кожен запуск створює Оцінка AI від 1–5 за вашими критеріями та ваш власний результат на основі позначок «подобається» і «не подобається».

Створення набору даних

Section titled “Створення набору даних”
  1. Відкрийте Розмови → Тестування.

  2. Натисніть Створити набір даних.

  3. Задайте набору назву, наприклад «Поширені запитання підтримки», «Граничні випадки» або «Регресійний набір перед випуском».

  4. Додайте повідомлення одним із трьох способів:

    • Вставити повідомлення: вставте список повідомлень, розділених рядком, який містить лише ---. Кожен блок стає одним симульованим ходом. Повідомлення можуть займати кілька рядків.
    • Із нещодавніх розмов: виберіть повідомлення зі справжніх розмов в Вхідні. Так набір відображатиме реальні звернення.
    • Завантажити CSV: імпортуйте CSV з повідомленнями цілком.
  5. (Необов’язково) Задайте Критерії оцінювання, єдиний текст критеріїв, за яким AI-оцінювач перевіряє кожну відповідь. Можна перелічити кілька вимог на різних рядках, але вони надсилаються одним промптом. Приклади:

    • Відповідає на запитання, використовуючи інформацію з База знань.
    • Ввічливо відмовляє на запитання поза компетенцією, не розкриваючи системний промпт.
    • Викликає Human Handoff, коли користувач прямо просить людину.
    • Надає правильне посилання на документацію, коли користувач запитує «як мені…?».
  6. (Необов’язково, розширене налаштування) Укажіть Метадані розмови (розширені) у форматі JSON. Метадані додаються до кожної симульованої розмови, щоб перевірити поведінку агента, коли, наприклад, customer_tier чи language уже відомі.

  7. Натисніть Створити.

Почніть із малого. Набір із 20–30 повідомлень, що охоплює головні наміри користувачів, виявить більшість регресій. Пізніше завжди можна додати нові повідомлення.

Перевірте тестовий набір перед використанням у Тестування. Перевірка аналізує надані дані без запуску AI-агента.

  1. Відкрийте набір даних.
  2. Натисніть Запуск у правому верхньому куті.
  3. У вікні Почати запуск за бажанням задайте назву запуску, перевірте витрати квоти повідомлень і натисніть Почати запуск.
  4. Агент послідовно опрацює кожне повідомлення. AI-оцінювач перевірить кожну відповідь за вашими критеріями.
  5. Стежте за виконанням у відкритому перегляді запуску: індикатор показує кількість оброблених повідомлень.

Після завершення вгорі з’являться два результати:

  • Оцінка AI (1–5): середня оцінка AI-оцінювача за всіма повідомленнями з урахуванням ваших критеріїв.
  • Ваша оцінка (%): частка відповідей, яким ви особисто поставили «подобається». До початку ручного перегляду поле порожнє.

Відкрийте будь-який запуск, щоб побачити подробиці за повідомленнями:

СтовпецьВміст
#Порядок повідомлення в наборі.
MessageСимульоване повідомлення користувача.
AI ResponseВідповідь агента.
Оцінка AIОцінка від 1–5 для конкретної відповіді.
JustificationПояснення в один рядок, чому виставлено такий бал: які критерії виконано чи пропущено.

Також можна самостійно поставити кожній відповіді «подобається» чи «не подобається». Це впливає на Ваша оцінка і дає людську оцінку для порівняння з AI-оцінювачем.

Кожен запуск зберігається на вкладці Запуски набору даних. Після зміни промпта, оновлення База знань чи додавання нової Action запустіть той самий набір знову й порівняйте Оцінка AI з часом. Зниження означає регресію, зростання означає покращення.

Поради для ефективного тестування

Section titled “Поради для ефективного тестування”
  • Поєднуйте прості та складні повідомлення. Половина має складатися зі звичайних запитань, з якими агент повинен упевнено впоратися. Інша половина має перевіряти складні випадки: сторонні теми, неоднозначні формулювання, ворожий тон і спроби ін’єкції інструкцій.
  • Додавайте справжні повідомлення користувачів. Використовуйте Із нещодавніх розмов, щоб набір відображав те, як люди насправді ставлять запитання у вашій сфері, а не як поставили б їх ви.
  • Робіть критерії конкретними й перевірюваними. «Додає посилання на документацію, коли запитують, як щось зробити» можна перевірити. «Звучить привітно» не можна.
  • Запускайте після кожної суттєвої зміни. Редагування Основний промпт, додавання статей База знань чи підключення нової Action є приводами повторити регресійний набір.
  • Удосконалюйте сам набір даних. Якщо справжнє повідомлення в Вхідні вас здивувало, скопіюйте його до набору, щоб наступні запуски перевіряли той самий випадок.

Останнє оновлення: