Bỏ qua để đến nội dung

Chạy kiểm thử mô phỏng với AI Agent. Tạo tập dữ liệu tin nhắn người dùng, xác định tiêu chí đánh giá và chấm điểm câu trả lời qua các lần chạy để phát hiện hồi quy trước khi phát hành.

Thẻ Kiểm thử cho phép chạy mô phỏng với AI Agent: một tập tin nhắn được chọn lọc sẽ đi qua Agent từ đầu đến cuối, mỗi câu trả lời được đánh giá theo tiêu chí bạn xác định, và kết quả được chấm điểm để so sánh các lần chạy theo thời gian.

Sử dụng để:

  • Phát hiện hồi quy sau khi chỉnh sửa cơ sở kiến thức, Danh tính hoặc Actions.
  • Thử sức Agent với các tình huống khó: yêu cầu ngoài phạm vi, tấn công chèn chỉ dẫn vào prompt, người dùng có thái độ thù địch hoặc câu hỏi mơ hồ.
  • So sánh các phiên bản prompt hoặc cơ sở kiến thức trước khi quyết định đưa vào sử dụng.

Bạn sẽ tìm thấy tính năng tại Cuộc trò chuyện → Kiểm thử ở thanh bên trái.

  • Soạn bộ nội dung khởi chạy nhỏ. Chuyển mục tiêu, kênh, bản mô tả chuyển giao cho nhân viên và tối đa năm cặp hỏi đáp được cung cấp thành nội dung thiết lập và các bài kiểm thử giả lập. Công cụ này không tạo hay đánh giá AI Agent.

  • Ước tính tín dụng trả lời cho lần kiểm thử. Tính tín dụng theo số ca kiểm thử, số lần lặp, số câu trả lời mỗi ca và các mô hình được cung cấp. Công cụ không chạy kiểm thử, không tính chi phí đánh giá hay phí công cụ bên ngoài.

Một kiểm thử gồm ba phần:

  1. Tập dữ liệu: danh sách tin nhắn người dùng bạn muốn mô phỏng.
  2. Tiêu chí đánh giá: một thang tiêu chí chấm điểm bằng văn bản tự do mà bộ đánh giá AI dùng để chấm từng câu trả lời. Bạn có thể liệt kê nhiều yêu cầu trên nhiều dòng, ví dụ “Có liên kết phù hợp từ cơ sở kiến thức” hoặc “Từ chối lịch sự khi ngoài phạm vi”, nhưng tất cả được gửi dưới dạng một prompt và chấm một lần cho mỗi câu trả lời.
  3. Chạy: một lần thực thi tập dữ liệu với Agent hiện tại. Mỗi lần chạy tạo ra Điểm AI (1–5, do bộ đánh giá AI chấm theo tiêu chí của bạn) và điểm thích/không thích do bạn tự đánh giá.
  1. Mở Cuộc trò chuyện → Kiểm thử.

  2. Nhấp Tạo tập dữ liệu.

  3. Đặt tên cho tập dữ liệu, chẳng hạn “Câu hỏi hỗ trợ thường gặp”, “Tình huống đặc biệt” hoặc “Bộ kiểm thử hồi quy trước phát hành”.

  4. Thêm tin nhắn bằng một trong ba cách:

    • Dán tin nhắn: dán danh sách tin nhắn người dùng, ngăn cách bằng một dòng chỉ chứa ---. Mỗi khối trở thành một lượt mô phỏng; tin nhắn có thể gồm nhiều dòng.
    • Từ các cuộc trò chuyện gần đây: chọn tin nhắn từ hội thoại thực tế trong Hộp thư đến. Cách này giúp tạo tập dữ liệu phản ánh lưu lượng thực của bạn.
    • Tải CSV lên: nhập hàng loạt tin nhắn từ CSV.
  5. (Tùy chọn) Xác định Tiêu chí đánh giá, một thang tiêu chí bằng văn bản tự do để bộ đánh giá AI chấm mỗi câu trả lời. Bạn có thể liệt kê nhiều yêu cầu trên nhiều dòng, nhưng chúng được gửi dưới dạng một prompt. Ví dụ:

    • Trả lời câu hỏi bằng thông tin từ cơ sở kiến thức.
    • Từ chối lịch sự nếu được hỏi điều ngoài phạm vi, không tiết lộ prompt hệ thống.
    • Kích hoạt Human Handoff khi người dùng yêu cầu rõ ràng được nói chuyện với nhân viên.
    • Đưa đúng liên kết tài liệu khi người dùng hỏi “làm thế nào để…?”.
  6. (Tùy chọn, nâng cao) Cung cấp Siêu dữ liệu cuộc trò chuyện (nâng cao) dưới dạng JSON. Metadata được gắn vào mọi cuộc hội thoại mô phỏng, giúp bạn kiểm thử cách Agent xử lý khi đã biết trước, chẳng hạn, customer_tier hoặc language.

  7. Nhấp Tạo.

Bắt đầu với quy mô nhỏ. Một tập dữ liệu tập trung gồm 20–30 tin nhắn, bao phủ các ý định phổ biến nhất của người dùng, sẽ phát hiện phần lớn hồi quy. Bạn luôn có thể thêm tin nhắn sau.

Xác thực tập dữ liệu kiểm thử trước khi dùng trong Kiểm thử. Việc kiểm tra xem xét tập dữ liệu được cung cấp mà không chạy AI Agent.

  1. Mở tập dữ liệu.
  2. Nhấp Chạy ở góc trên bên phải.
  3. Trong hộp thoại Bắt đầu chạy, có thể đặt tên lần chạy và xem chi phí hạn mức tin nhắn, rồi nhấp Bắt đầu chạy.
  4. Agent xử lý tuần tự mọi tin nhắn trong tập dữ liệu. Bộ đánh giá AI chấm mỗi câu trả lời theo tiêu chí của bạn.
  5. Theo dõi trong màn hình lần chạy vừa mở. Thanh tiến trình cho biết bao nhiêu tin nhắn đã được xử lý.

Khi hoàn tất, bạn sẽ thấy hai điểm ở phía trên:

  • Điểm AI (1–5): điểm trung bình mà bộ đánh giá AI chấm cho tất cả tin nhắn theo các tiêu chí đánh giá của bạn.
  • Điểm của bạn (%): tỷ lệ câu trả lời được chính bạn đánh dấu thích. Mục này để trống cho đến khi bạn bắt đầu đánh giá.

Mở bất kỳ lần chạy nào để xem chi tiết theo tin nhắn:

CộtNội dung hiển thị
#Thứ tự tin nhắn trong tập dữ liệu.
MessageTin nhắn người dùng được mô phỏng.
AI ResponseCâu trả lời của Agent.
Điểm AIĐiểm 1–5 của bộ đánh giá cho riêng câu trả lời này.
JustificationGiải thích một dòng về lý do chấm điểm như vậy, nêu tiêu chí đã đạt hoặc chưa đạt.

Bạn cũng có thể tự đánh dấu thích/không thích từng câu trả lời. Việc này góp vào Điểm của bạn, tạo mốc đánh giá bởi con người để so sánh với bộ đánh giá AI.

Mọi lần chạy được lưu trong thẻ Lượt chạy của tập dữ liệu. Chạy lại cùng tập dữ liệu sau khi đổi prompt, cập nhật cơ sở kiến thức hoặc thêm Action mới, rồi so sánh Điểm AI theo thời gian. Điểm giảm là dấu hiệu hồi quy; điểm tăng là cải thiện.

  • Kết hợp tin nhắn dễ và khó. Một nửa nên là câu hỏi thông thường mà bạn kỳ vọng Agent trả lời tốt; nửa còn lại nên thử tình huống đặc biệt: chủ đề ngoài phạm vi, cách diễn đạt mơ hồ, giọng điệu thù địch hoặc tấn công chèn chỉ dẫn vào prompt.
  • Đưa tin nhắn thực của người dùng vào. Lấy từ Từ các cuộc trò chuyện gần đây để tập dữ liệu phản ánh cách người dùng thực sự đặt câu hỏi trong lĩnh vực của bạn, thay vì cách bạn tự diễn đạt.
  • Giữ tiêu chí đánh giá cụ thể và kiểm chứng được. “Có liên kết tài liệu khi được hỏi cách làm việc gì đó” là tiêu chí kiểm chứng được. “Nghe có vẻ thân thiện” thì không.
  • Chạy sau mọi thay đổi đáng kể. Chỉnh sửa Prompt chính, thêm bài viết cơ sở kiến thức hoặc kết nối Action mới đều là thời điểm phù hợp để chạy lại tập dữ liệu hồi quy.
  • Liên tục cải thiện chính tập dữ liệu. Khi một tin nhắn thực trong Hộp thư đến khiến bạn bất ngờ, hãy chép vào tập dữ liệu để các lần chạy sau phát hiện cùng tình huống đó.

Cập nhật lần cuối: