ข้ามไปยังเนื้อหา

รันการทดสอบจำลองกับ AI Agent สร้างชุดข้อมูลข้อความผู้ใช้ กำหนดเกณฑ์ประเมิน และเปรียบเทียบคะแนนคำตอบระหว่างรอบ เพื่อพบปัญหาถดถอยก่อนเผยแพร่

แท็บ การทดสอบ ให้คุณรัน การจำลอง กับ AI Agent โดยส่งชุดข้อความที่คัดเลือกไว้ผ่าน Agent แบบครบกระบวนการ ประเมินทุกคำตอบตามเกณฑ์ที่คุณกำหนด และให้คะแนนผลลัพธ์เพื่อเปรียบเทียบแต่ละรอบเมื่อเวลาผ่านไป

ใช้เพื่อ:

  • ตรวจพบปัญหาถดถอยหลังแก้ไข ฐานความรู้, ตัวตน หรือ Actions
  • ทดสอบ Agent กับกรณียาก เช่น คำขอนอกขอบเขต การพยายามแทรกคำสั่งในพรอมต์ ผู้ใช้ที่มีท่าทีไม่เป็นมิตร และคำถามกำกวม
  • เปรียบเทียบพรอมต์หรือ ฐานความรู้ เวอร์ชันต่าง ๆ ก่อนตัดสินใจเผยแพร่

คุณจะพบฟีเจอร์นี้ที่ การสนทนา → การทดสอบ ในแถบด้านซ้าย

  • ร่างชุดเนื้อหาสำหรับเริ่มใช้งานขนาดเล็ก เปลี่ยนเป้าหมาย ช่องทาง แนวทางส่งต่อให้เจ้าหน้าที่ และคู่คำถามคำตอบไม่เกินห้าคู่ที่คุณให้มา เป็นข้อความสำหรับตั้งค่าและการทดสอบจำลอง เครื่องมือนี้ไม่ได้สร้างหรือประเมิน AI Agent

  • ประมาณเครดิตคำตอบสำหรับรอบทดสอบ คำนวณเครดิตจากจำนวนกรณีทดสอบ จำนวนรอบซ้ำ คำตอบต่อกรณี และโมเดลที่ระบุ เครื่องมือนี้ไม่รันทดสอบ และไม่รวมค่าใช้จ่ายในการประเมินหรือค่าธรรมเนียมเครื่องมือภายนอก

การทดสอบประกอบด้วยสามส่วน:

  1. ชุดข้อมูล: รายการข้อความผู้ใช้ที่ต้องการจำลอง
  2. เกณฑ์การประเมิน: เกณฑ์ให้คะแนนแบบข้อความอิสระชุดเดียวที่ AI ผู้ประเมินใช้ให้คะแนนแต่ละคำตอบ คุณระบุหลายข้อแยกหลายบรรทัดได้ เช่น “มีลิงก์ที่เกี่ยวข้องจาก ฐานความรู้” หรือ “ปฏิเสธอย่างสุภาพเมื่ออยู่นอกขอบเขต” แต่ระบบจะส่งให้ผู้ประเมินเป็นพรอมต์เดียว และให้คะแนนหนึ่งครั้งต่อคำตอบ
  3. เรียกใช้: การรันชุดข้อมูลกับ Agent ปัจจุบันหนึ่งครั้ง แต่ละรอบจะสร้าง คะแนน AI (1–5 ซึ่ง AI ผู้ประเมินให้ตามเกณฑ์ของคุณ) และคะแนนชอบ/ไม่ชอบที่คุณให้เอง
  1. เปิด การสนทนา → การทดสอบ

  2. คลิก สร้างชุดข้อมูล

  3. ตั้ง ชื่อ ชุดข้อมูล เช่น “คำถามฝ่ายสนับสนุนที่พบบ่อย”, “กรณีพิเศษ” หรือ “ชุดทดสอบการถดถอยก่อนเผยแพร่”

  4. เพิ่มข้อความด้วยหนึ่งในสามวิธี:

    • วางข้อความ: วางรายการข้อความผู้ใช้ โดยคั่นด้วยบรรทัดที่มีเพียง --- แต่ละบล็อกจะเป็นหนึ่งรอบสนทนาจำลอง และข้อความหนึ่งรายการมีหลายบรรทัดได้
    • จากการสนทนาล่าสุด: เลือกข้อความจากบทสนทนาจริงใน กล่องข้อความ เหมาะสำหรับสร้างชุดข้อมูลที่สะท้อนการใช้งานจริง
    • อัปโหลด CSV: นำเข้าข้อความจำนวนมากจากไฟล์ CSV
  5. (ไม่บังคับ) กำหนด เกณฑ์การประเมิน ซึ่งเป็นเกณฑ์ข้อความอิสระชุดเดียวที่ AI ผู้ประเมินใช้ให้คะแนนแต่ละคำตอบ คุณระบุหลายข้อในหลายบรรทัดได้ แต่จะส่งเป็นพรอมต์เดียว ตัวอย่าง:

    • ตอบคำถามโดยใช้ข้อมูลจาก Knowledge Base
    • ปฏิเสธอย่างสุภาพเมื่อถูกถามเรื่องนอกขอบเขต โดยไม่เปิดเผยพรอมต์ระบบ
    • เรียกใช้ Human Handoff เมื่อผู้ใช้ขอคุยกับเจ้าหน้าที่อย่างชัดเจน
    • ใส่ลิงก์เอกสารที่ถูกต้องเมื่อผู้ใช้ถามว่า “ทำอย่างไรจึงจะ…?”
  6. (ไม่บังคับ ขั้นสูง) ระบุ เมตาดาตาการสนทนา (ขั้นสูง) เป็น JSON ระบบจะแนบข้อมูลนี้กับทุกบทสนทนาจำลอง คุณจึงทดสอบพฤติกรรม Agent เมื่อทราบข้อมูลอย่าง customer_tier หรือ language อยู่แล้วได้

  7. คลิก สร้าง

เริ่มจากชุดเล็ก ๆ ชุดข้อมูลที่มีข้อความ 20–30 รายการและครอบคลุมเจตนาหลักของผู้ใช้จะพบปัญหาถดถอยส่วนใหญ่ได้ คุณเพิ่มข้อความภายหลังได้เสมอ

ตรวจสอบชุดข้อมูลทดสอบ ก่อนนำไปใช้ใน การทดสอบ เครื่องมือจะตรวจสอบชุดข้อมูลที่ให้มาโดยไม่รัน AI Agent ของคุณ

  1. เปิดชุดข้อมูล
  2. คลิก เรียกใช้ ที่มุมขวาบน
  3. ในกล่องโต้ตอบ เริ่มเรียกใช้ คุณตั้งชื่อรอบและตรวจสอบโควตาข้อความที่จะใช้ได้ จากนั้นคลิก เริ่มเรียกใช้
  4. Agent ประมวลผลทุกข้อความในชุดข้อมูลตามลำดับ AI ผู้ประเมินจะให้คะแนนแต่ละคำตอบตามเกณฑ์ของคุณ
  5. ดูความคืบหน้าในหน้ารอบทดสอบที่เปิดขึ้น แถบความคืบหน้าจะแสดงจำนวนข้อความที่ประมวลผลแล้ว

เมื่อรอบทดสอบเสร็จ คุณจะเห็นคะแนนสองรายการที่ด้านบน:

  • คะแนน AI (1–5): คะแนนเฉลี่ยที่ AI ผู้ประเมินให้กับข้อความทั้งหมด โดยพิจารณาตามเกณฑ์ประเมินของคุณ
  • คะแนนของคุณ (%): เปอร์เซ็นต์คำตอบที่คุณกดชอบด้วยตนเอง ช่องนี้จะว่างจนกว่าคุณเริ่มตรวจคำตอบ

เปิดรอบใดก็ได้เพื่อดูรายละเอียดแต่ละข้อความ:

คอลัมน์ข้อมูลที่แสดง
#ลำดับข้อความในชุดข้อมูล
Messageข้อความผู้ใช้ที่จำลองขึ้น
AI Responseคำตอบของ Agent
คะแนน AIคะแนน 1–5 ที่ผู้ประเมินให้คำตอบนี้
Justificationคำอธิบายหนึ่งบรรทัดว่า เพราะเหตุใด จึงให้คะแนนเช่นนั้น โดยระบุเกณฑ์ที่ผ่านหรือไม่ผ่าน

คุณกดชอบ/ไม่ชอบให้แต่ละคำตอบได้ด้วย คะแนนนี้จะรวมอยู่ใน คะแนนของคุณ และเป็นค่าฐานจากการประเมินของมนุษย์สำหรับเปรียบเทียบกับ AI ผู้ประเมิน

ทุกครั้งที่รันจะบันทึกไว้ในแท็บ การเรียกใช้ ของชุดข้อมูล รันชุดข้อมูลเดิมอีกครั้งหลังเปลี่ยนพรอมต์ อัปเดต ฐานความรู้ หรือเพิ่ม Action แล้วเปรียบเทียบ คะแนน AI ตามเวลา คะแนนที่ลดลงแสดงการถดถอย ส่วนคะแนนที่เพิ่มขึ้นแสดงการปรับปรุง

  • ผสมข้อความง่ายและยาก ครึ่งหนึ่งควรเป็นคำถามปกติที่คาดว่า Agent จะตอบได้ดี อีกครึ่งควรทดสอบกรณีพิเศษ เช่น หัวข้อนอกขอบเขต ถ้อยคำกำกวม น้ำเสียงไม่เป็นมิตร หรือความพยายามแทรกคำสั่งในพรอมต์
  • ใช้ข้อความจริงของผู้ใช้ ดึงจาก จากการสนทนาล่าสุด เพื่อให้ชุดข้อมูลสะท้อนวิธีที่คนถามจริงในธุรกิจของคุณ ไม่ใช่วิธีที่คุณตั้งคำถามเอง
  • กำหนดเกณฑ์ประเมินให้ชัดและตรวจสอบได้ “มีลิงก์เอกสารเมื่อถูกถามวิธีทำบางอย่าง” เป็นเกณฑ์ที่ทดสอบได้ แต่ “ฟังดูเป็นมิตร” ไม่ใช่
  • รันหลังการเปลี่ยนแปลงสำคัญทุกครั้ง การแก้ พรอมป์ต์หลัก เพิ่มบทความ ฐานความรู้ หรือเชื่อมต่อ Action ใหม่ ล้วนเป็นเหตุผลที่เหมาะจะรันชุดทดสอบการถดถอยอีกครั้ง
  • ปรับปรุงชุดข้อมูลด้วย เมื่อพบข้อความจริงใน กล่องข้อความ ที่ให้ผลเกินคาด ให้คัดลอกลงชุดข้อมูล เพื่อให้รอบถัดไปตรวจพบกรณีเดียวกันได้

อัพเดทล่าสุด: