รันการทดสอบจำลองกับ AI Agent สร้างชุดข้อมูลข้อความผู้ใช้ กำหนดเกณฑ์ประเมิน และเปรียบเทียบคะแนนคำตอบระหว่างรอบ เพื่อพบปัญหาถดถอยก่อนเผยแพร่
แท็บ การทดสอบ ให้คุณรัน การจำลอง กับ AI Agent โดยส่งชุดข้อความที่คัดเลือกไว้ผ่าน Agent แบบครบกระบวนการ ประเมินทุกคำตอบตามเกณฑ์ที่คุณกำหนด และให้คะแนนผลลัพธ์เพื่อเปรียบเทียบแต่ละรอบเมื่อเวลาผ่านไป
ใช้เพื่อ:
- ตรวจพบปัญหาถดถอยหลังแก้ไข ฐานความรู้, ตัวตน หรือ Actions
- ทดสอบ Agent กับกรณียาก เช่น คำขอนอกขอบเขต การพยายามแทรกคำสั่งในพรอมต์ ผู้ใช้ที่มีท่าทีไม่เป็นมิตร และคำถามกำกวม
- เปรียบเทียบพรอมต์หรือ ฐานความรู้ เวอร์ชันต่าง ๆ ก่อนตัดสินใจเผยแพร่
คุณจะพบฟีเจอร์นี้ที่ การสนทนา → การทดสอบ ในแถบด้านซ้าย
เครื่องมือเสริมสำหรับการตั้งค่า
หัวข้อที่มีชื่อว่า “เครื่องมือเสริมสำหรับการตั้งค่า”-
ร่างชุดเนื้อหาสำหรับเริ่มใช้งานขนาดเล็ก เปลี่ยนเป้าหมาย ช่องทาง แนวทางส่งต่อให้เจ้าหน้าที่ และคู่คำถามคำตอบไม่เกินห้าคู่ที่คุณให้มา เป็นข้อความสำหรับตั้งค่าและการทดสอบจำลอง เครื่องมือนี้ไม่ได้สร้างหรือประเมิน AI Agent
-
ประมาณเครดิตคำตอบสำหรับรอบทดสอบ คำนวณเครดิตจากจำนวนกรณีทดสอบ จำนวนรอบซ้ำ คำตอบต่อกรณี และโมเดลที่ระบุ เครื่องมือนี้ไม่รันทดสอบ และไม่รวมค่าใช้จ่ายในการประเมินหรือค่าธรรมเนียมเครื่องมือภายนอก
วิธีทำงาน
หัวข้อที่มีชื่อว่า “วิธีทำงาน”การทดสอบประกอบด้วยสามส่วน:
- ชุดข้อมูล: รายการข้อความผู้ใช้ที่ต้องการจำลอง
- เกณฑ์การประเมิน: เกณฑ์ให้คะแนนแบบข้อความอิสระชุดเดียวที่ AI ผู้ประเมินใช้ให้คะแนนแต่ละคำตอบ คุณระบุหลายข้อแยกหลายบรรทัดได้ เช่น “มีลิงก์ที่เกี่ยวข้องจาก ฐานความรู้” หรือ “ปฏิเสธอย่างสุภาพเมื่ออยู่นอกขอบเขต” แต่ระบบจะส่งให้ผู้ประเมินเป็นพรอมต์เดียว และให้คะแนนหนึ่งครั้งต่อคำตอบ
- เรียกใช้: การรันชุดข้อมูลกับ Agent ปัจจุบันหนึ่งครั้ง แต่ละรอบจะสร้าง คะแนน AI (1–5 ซึ่ง AI ผู้ประเมินให้ตามเกณฑ์ของคุณ) และคะแนนชอบ/ไม่ชอบที่คุณให้เอง
สร้างชุดข้อมูล
หัวข้อที่มีชื่อว่า “สร้างชุดข้อมูล”-
เปิด การสนทนา → การทดสอบ
-
คลิก สร้างชุดข้อมูล
-
ตั้ง ชื่อ ชุดข้อมูล เช่น “คำถามฝ่ายสนับสนุนที่พบบ่อย”, “กรณีพิเศษ” หรือ “ชุดทดสอบการถดถอยก่อนเผยแพร่”
-
เพิ่มข้อความด้วยหนึ่งในสามวิธี:
- วางข้อความ: วางรายการข้อความผู้ใช้ โดยคั่นด้วยบรรทัดที่มีเพียง
---แต่ละบล็อกจะเป็นหนึ่งรอบสนทนาจำลอง และข้อความหนึ่งรายการมีหลายบรรทัดได้ - จากการสนทนาล่าสุด: เลือกข้อความจากบทสนทนาจริงใน กล่องข้อความ เหมาะสำหรับสร้างชุดข้อมูลที่สะท้อนการใช้งานจริง
- อัปโหลด CSV: นำเข้าข้อความจำนวนมากจากไฟล์ CSV
- วางข้อความ: วางรายการข้อความผู้ใช้ โดยคั่นด้วยบรรทัดที่มีเพียง
-
(ไม่บังคับ) กำหนด เกณฑ์การประเมิน ซึ่งเป็นเกณฑ์ข้อความอิสระชุดเดียวที่ AI ผู้ประเมินใช้ให้คะแนนแต่ละคำตอบ คุณระบุหลายข้อในหลายบรรทัดได้ แต่จะส่งเป็นพรอมต์เดียว ตัวอย่าง:
- ตอบคำถามโดยใช้ข้อมูลจาก Knowledge Base
- ปฏิเสธอย่างสุภาพเมื่อถูกถามเรื่องนอกขอบเขต โดยไม่เปิดเผยพรอมต์ระบบ
- เรียกใช้ Human Handoff เมื่อผู้ใช้ขอคุยกับเจ้าหน้าที่อย่างชัดเจน
- ใส่ลิงก์เอกสารที่ถูกต้องเมื่อผู้ใช้ถามว่า “ทำอย่างไรจึงจะ…?”
-
(ไม่บังคับ ขั้นสูง) ระบุ เมตาดาตาการสนทนา (ขั้นสูง) เป็น JSON ระบบจะแนบข้อมูลนี้กับทุกบทสนทนาจำลอง คุณจึงทดสอบพฤติกรรม Agent เมื่อทราบข้อมูลอย่าง
customer_tierหรือlanguageอยู่แล้วได้ -
คลิก สร้าง
เริ่มจากชุดเล็ก ๆ ชุดข้อมูลที่มีข้อความ 20–30 รายการและครอบคลุมเจตนาหลักของผู้ใช้จะพบปัญหาถดถอยส่วนใหญ่ได้ คุณเพิ่มข้อความภายหลังได้เสมอ
ตรวจสอบชุดข้อมูลทดสอบ ก่อนนำไปใช้ใน การทดสอบ เครื่องมือจะตรวจสอบชุดข้อมูลที่ให้มาโดยไม่รัน AI Agent ของคุณ
รันชุดข้อมูล
หัวข้อที่มีชื่อว่า “รันชุดข้อมูล”- เปิดชุดข้อมูล
- คลิก เรียกใช้ ที่มุมขวาบน
- ในกล่องโต้ตอบ เริ่มเรียกใช้ คุณตั้งชื่อรอบและตรวจสอบโควตาข้อความที่จะใช้ได้ จากนั้นคลิก เริ่มเรียกใช้
- Agent ประมวลผลทุกข้อความในชุดข้อมูลตามลำดับ AI ผู้ประเมินจะให้คะแนนแต่ละคำตอบตามเกณฑ์ของคุณ
- ดูความคืบหน้าในหน้ารอบทดสอบที่เปิดขึ้น แถบความคืบหน้าจะแสดงจำนวนข้อความที่ประมวลผลแล้ว
เมื่อรอบทดสอบเสร็จ คุณจะเห็นคะแนนสองรายการที่ด้านบน:
- คะแนน AI (1–5): คะแนนเฉลี่ยที่ AI ผู้ประเมินให้กับข้อความทั้งหมด โดยพิจารณาตามเกณฑ์ประเมินของคุณ
- คะแนนของคุณ (%): เปอร์เซ็นต์คำตอบที่คุณกดชอบด้วยตนเอง ช่องนี้จะว่างจนกว่าคุณเริ่มตรวจคำตอบ
ตรวจผลรอบทดสอบ
หัวข้อที่มีชื่อว่า “ตรวจผลรอบทดสอบ”เปิดรอบใดก็ได้เพื่อดูรายละเอียดแต่ละข้อความ:
| คอลัมน์ | ข้อมูลที่แสดง |
|---|---|
# | ลำดับข้อความในชุดข้อมูล |
| Message | ข้อความผู้ใช้ที่จำลองขึ้น |
| AI Response | คำตอบของ Agent |
| คะแนน AI | คะแนน 1–5 ที่ผู้ประเมินให้คำตอบนี้ |
| Justification | คำอธิบายหนึ่งบรรทัดว่า เพราะเหตุใด จึงให้คะแนนเช่นนั้น โดยระบุเกณฑ์ที่ผ่านหรือไม่ผ่าน |
คุณกดชอบ/ไม่ชอบให้แต่ละคำตอบได้ด้วย คะแนนนี้จะรวมอยู่ใน คะแนนของคุณ และเป็นค่าฐานจากการประเมินของมนุษย์สำหรับเปรียบเทียบกับ AI ผู้ประเมิน
เปรียบเทียบรอบทดสอบ
หัวข้อที่มีชื่อว่า “เปรียบเทียบรอบทดสอบ”ทุกครั้งที่รันจะบันทึกไว้ในแท็บ การเรียกใช้ ของชุดข้อมูล รันชุดข้อมูลเดิมอีกครั้งหลังเปลี่ยนพรอมต์ อัปเดต ฐานความรู้ หรือเพิ่ม Action แล้วเปรียบเทียบ คะแนน AI ตามเวลา คะแนนที่ลดลงแสดงการถดถอย ส่วนคะแนนที่เพิ่มขึ้นแสดงการปรับปรุง
เคล็ดลับการทดสอบให้ได้ผล
หัวข้อที่มีชื่อว่า “เคล็ดลับการทดสอบให้ได้ผล”- ผสมข้อความง่ายและยาก ครึ่งหนึ่งควรเป็นคำถามปกติที่คาดว่า Agent จะตอบได้ดี อีกครึ่งควรทดสอบกรณีพิเศษ เช่น หัวข้อนอกขอบเขต ถ้อยคำกำกวม น้ำเสียงไม่เป็นมิตร หรือความพยายามแทรกคำสั่งในพรอมต์
- ใช้ข้อความจริงของผู้ใช้ ดึงจาก จากการสนทนาล่าสุด เพื่อให้ชุดข้อมูลสะท้อนวิธีที่คนถามจริงในธุรกิจของคุณ ไม่ใช่วิธีที่คุณตั้งคำถามเอง
- กำหนดเกณฑ์ประเมินให้ชัดและตรวจสอบได้ “มีลิงก์เอกสารเมื่อถูกถามวิธีทำบางอย่าง” เป็นเกณฑ์ที่ทดสอบได้ แต่ “ฟังดูเป็นมิตร” ไม่ใช่
- รันหลังการเปลี่ยนแปลงสำคัญทุกครั้ง การแก้ พรอมป์ต์หลัก เพิ่มบทความ ฐานความรู้ หรือเชื่อมต่อ Action ใหม่ ล้วนเป็นเหตุผลที่เหมาะจะรันชุดทดสอบการถดถอยอีกครั้ง
- ปรับปรุงชุดข้อมูลด้วย เมื่อพบข้อความจริงใน กล่องข้อความ ที่ให้ผลเกินคาด ให้คัดลอกลงชุดข้อมูล เพื่อให้รอบถัดไปตรวจพบกรณีเดียวกันได้