הריצו סימולציות מול סוכן ה-AI: צרו מערכי הודעות משתמשים, הגדירו קריטריונים להערכה והשוו ציוני תשובות בין הרצות כדי לזהות נסיגות לפני ההשקה.
הלשונית בדיקות מאפשרת להריץ סימולציות מול סוכן ה-AI: אוסף נבחר של הודעות נשלח דרך הסוכן מקצה לקצה, כל תשובה נבחנת לפי קריטריונים שאתם מגדירים, והתוצאות מקבלות ציונים כדי שתוכלו להשוות הרצות לאורך זמן.
השתמשו בה כדי:
- לזהות נסיגות לאחר עריכת מאגר ידע, זהות או Actions.
- לבחון את הסוכן במקרי קצה קשים, כגון בקשות מחוץ לתחום, ניסיונות הזרקת פרומפט, משתמשים עוינים ושאלות עמומות.
- להשוות גרסאות שונות של הפרומפט או של מאגר הידע לפני שמחליטים מה להשיק.
תמצאו אותה תחת שיחות → בדיקות בסרגל הצד השמאלי.
כלי עזר אופציונליים להגדרה
Section titled “כלי עזר אופציונליים להגדרה”-
הכינו טיוטת חבילת השקה קטנה. הפכו מטרה, ערוץ, הנחיות להעברה לנציג ועד חמישה זוגות של שאלות נפוצות ותשובות לטקסטי הגדרה ולבדיקות מלאכותיות. הכלי אינו יוצר או מעריך סוכן AI.
-
העריכו קרדיטי תשובות להרצת בדיקה. חשבו קרדיטים לפי מספר הבדיקות, החזרות, התשובות לכל מקרה והמודלים שתספקו. הכלי אינו מריץ בדיקות, ואינו כולל עלויות הערכה או עמלות של כלים חיצוניים.
איך זה עובד
Section titled “איך זה עובד”לבדיקה שלושה חלקים:
- מערך נתונים: רשימת הודעות המשתמשים שתרצו לדמות.
- קריטריונים להערכה: מחוון אחד בטקסט חופשי שמעריך AI משתמש בו כדי לדרג כל תשובה. אפשר לפרט כמה דרישות בכמה שורות, למשל “כוללת קישור רלוונטי מ-מאגר ידע” או “מסרבת בנימוס כשהבקשה מחוץ לתחום”, אבל הן מועברות למעריך כפרומפט אחד ומקבלות ציון אחד לכל תשובה.
- הרצה: הרצה אחת של מערך הנתונים מול הסוכן הנוכחי. כל הרצה מפיקה ציון AI בטווח 1–5, שניתן בידי מעריך ה-AI לפי הקריטריונים שלכם, וגם את ציון הלייק או הדיסלייק שלכם.
יצירת מערך נתונים
Section titled “יצירת מערך נתונים”-
פתחו שיחות → בדיקות.
-
לחצו על יצירת מערך נתונים.
-
תנו למערך שם, למשל “שאלות תמיכה נפוצות”, “מקרי קצה” או “בדיקות נסיגה לפני השקה”.
-
הוסיפו הודעות באחת משלוש דרכים:
- הדבקת הודעות: הדביקו רשימת הודעות משתמשים שמופרדות בשורה שמכילה רק
---. כל מקטע הופך לתור מדומה אחד, והודעות יכולות להתפרס על כמה שורות. - מהשיחות האחרונות: בחרו הודעות משיחות אמיתיות ב-תיבת דואר נכנס. מתאים לבניית מערך שמשקף את התעבורה האמיתית שלכם.
- העלאת CSV: ייבאו קובץ CSV של הודעות בבת אחת.
- הדבקת הודעות: הדביקו רשימת הודעות משתמשים שמופרדות בשורה שמכילה רק
-
(אופציונלי) הגדירו קריטריונים להערכה, מחוון אחד בטקסט חופשי שמעריך ה-AI מדרג לפיו כל תשובה. אפשר לפרט דרישות בכמה שורות, אבל הן נשלחות כפרומפט אחד. דוגמאות:
- עונה לשאלה באמצעות מידע מ-מאגר ידע.
- מסרבת בנימוס לבקשות מחוץ לתחום בלי לחשוף את פרומפט המערכת.
- מפעילה Human Handoff כשהמשתמש מבקש במפורש נציג אנושי.
- כוללת את הקישור הנכון לתיעוד כשהמשתמש שואל “איך עושים…?”.
-
(אופציונלי, מתקדם) ספקו מטא-נתוני שיחה (מתקדם) בפורמט JSON. המטא-דאטה מצורף לכל שיחה מדומה, כך שאפשר לבדוק איך הסוכן מתנהג כאשר מידע כמו
customer_tierאוlanguageכבר ידוע. -
לחצו על יצירה.
התחילו בקטן. מערך ממוקד של 20–30 הודעות שמכסה את הכוונות העיקריות של המשתמשים יזהה את רוב הנסיגות. תמיד אפשר להוסיף עוד הודעות בהמשך.
אמתו מערך נתוני בדיקה לפני השימוש בו ב-בדיקות. הבדיקה בוחנת את מערך הנתונים שסיפקתם בלי להפעיל את סוכן ה-AI.
הרצת מערך נתונים
Section titled “הרצת מערך נתונים”- פתחו את מערך הנתונים.
- לחצו על הרצה בפינה הימנית העליונה.
- בחלון התחלת הרצה, אפשר לתת שם להרצה ולבדוק את עלות מכסת ההודעות, ואז ללחוץ על התחלת הרצה.
- הסוכן מעבד את כל ההודעות במערך בזו אחר זו. מעריך ה-AI מדרג כל תשובה לפי הקריטריונים שלכם.
- עקבו אחר ההתקדמות בתצוגת ההרצה שנפתחה. פס ההתקדמות מציג כמה הודעות עובדו.
לאחר סיום ההרצה יופיעו בראש הדף שני ציונים:
- ציון AI (1–5): הדירוג הממוצע שמעריך ה-AI נתן לכל ההודעות לפי קריטריוני ההערכה שלכם.
- הציון שלך (%): אחוז התשובות שסימנתם אישית בלייק. השדה ריק עד שמתחילים לסקור.
סקירת הרצה
Section titled “סקירת הרצה”פתחו הרצה כדי לראות פירוט לכל הודעה:
| עמודה | מה היא מציגה |
|---|---|
# | סדר ההודעה במערך הנתונים. |
| Message | הודעת המשתמש המדומה. |
| AI Response | תשובת הסוכן. |
| ציון AI | ציון המעריך בטווח 1–5 לתשובה הזו. |
| Justification | הסבר של שורה אחת מדוע ניתן הציון, עם ציון הקריטריונים שהתשובה עמדה בהם או החמיצה. |
אפשר גם לתת לייק או דיסלייק לכל תשובה בעצמכם. הדירוג משפיע על הציון שלך ומספק נקודת ייחוס אנושית להשוואה מול מעריך ה-AI.
השוואת הרצות
Section titled “השוואת הרצות”כל הרצה נשמרת בלשונית הרצות של מערך הנתונים. הריצו שוב את אותו מערך לאחר שינוי הפרומפט, עדכון מאגר ידע או הוספת Action חדשה, והשוו את ציון AI לאורך זמן. ירידה משמעה נסיגה; עלייה משמעה שיפור.
טיפים לבדיקות יעילות
Section titled “טיפים לבדיקות יעילות”- שלבו הודעות קלות וקשות. חצי מהן צריכות להיות שאלות רגילות שהסוכן צפוי לפתור היטב. החצי השני צריך לאתגר מקרי קצה: נושאים מחוץ לתחום, ניסוח עמום, טון עוין וניסיונות הזרקת פרומפט.
- כללו הודעות אמיתיות של משתמשים. השתמשו ב-מהשיחות האחרונות כדי שהמערך ישקף איך אנשים באמת מנסחים שאלות בתחום שלכם, ולא איך אתם הייתם מנסחים אותן.
- הגדירו קריטריונים מדויקים וניתנים לבדיקה. “כוללת קישור לתיעוד כששואלים איך לבצע פעולה” הוא קריטריון שאפשר לבדוק. “נשמעת ידידותית” אינו כזה.
- הריצו אחרי כל שינוי משמעותי. עריכת פרומפט ראשי, הוספת מאמרים ל-מאגר ידע או חיבור Action חדשה הם כולם סיבות טובות להריץ שוב את מערך בדיקות הנסיגה.
- שפרו גם את מערך הנתונים עצמו. כשהודעת משתמש אמיתית ב-תיבת דואר נכנס מפתיעה אתכם, העתיקו אותה למערך כדי שהרצות עתידיות יכסו את אותו מקרה.