מדדי KPI לצ׳אטבוט: מה למדוד ואיך לעקוב

פריסת צ׳אטבוט היא החלק הקל. כדי לדעת אם הוא באמת עובד, צריך למדוד. רוב פריסות הצ׳אטבוטים נכשלות לא משום שהטכנולוגיה גרועה, אלא משום שאף אחד לא הגדיר מה פירוש “עובד” או עקב אחר המדדים הנכונים כדי לגלות זאת.

המדריך הזה מכסה את מדדי ה-KPI החשובים לביצועי צ׳אטבוטים, כיצד לחשב אותם, לאילו בנצ׳מרקים לשאוף, וכיצד להשתמש בנתונים כדי לשפר את הבוט לאורך זמן.

מדדי ה-KPI המרכזיים

יש עשרות מדדים שאפשר לעקוב אחריהם. המדדים שלהלן הם המעשיים ביותר. הם מתחלקים לשתי קטגוריות: מדדים תפעוליים (האם הבוט עושה את עבודתו?) ומדדי איכות (האם הבוט עושה את עבודתו היטב?).

מדדים תפעוליים

מדדי איכות

שיעור הכלה: המדד החשוב ביותר

שיעור הכלה מודד אם הבוט יכול לטפל בשיחה מתחילתה ועד סופה בלי שאדם יתערב. זהו המדד התפעולי החשוב ביותר, משום שהוא נמצא במתאם ישיר עם חיסכון בעלויות.

אם לבוט שלכם יש שיעור הכלה של 70%, פירוש הדבר ש-7 מתוך 10 שיחות הן אוטומטיות לחלוטין. 3 השיחות הנותרות מועברות לנציגים אנושיים. כל שיפור של נקודת אחוז אחת בשיעור ההכלה מתורגם ישירות לפחות שעות נציגים נדרשות.

כיצד לחשב אותו

שיעור הכלה = (שיחות שנפתרו על ידי הבוט בלבד / סך כל השיחות) * 100

שיחה “שנפתרה” פירושה שהמשתמש קיבל את התשובה שלו או השלים את המשימה שלו. שיחה שמסתיימת בכך שהמשתמש עוזב מתסכול אינה נחשבת פתורה, גם אם אף אדם לא השתלט עליה. ההבחנה הזו חשובה. יש בוטים שמדווחים על שיעורי הכלה גבוהים פשוט משום שמשתמשים התייאשו, וזה אינו זהה לפתרון.

מה משפיע על שיעור ההכלה

• כיסוי Knowledge Base: אם לבוט אין מידע על נושא מסוים, הוא אינו יכול לענות על שאלות לגביו. פערים ב-Knowledge Base הם הגורם הנפוץ ביותר לשיעור הכלה נמוך.
• דיוק זיהוי כוונה: אם הבוט אינו מבין נכון מה המשתמש שואל, הוא נותן תשובה שגויה (משתמש לא מרוצה) או מסלים שלא לצורך (הכלה נמוכה יותר).
• עיצוב שיחה: האופן שבו הבוט מטפל בעמימות, בשאלות המשך ובשיחות מרובות סבבים משפיע על יכולתו לפתור פנייה במלואה.
• יכולות פעולה: אם הבוט יכול לבדוק סטטוס הזמנה, ליצור כרטיסים או לבצע פעולות אחרות, הוא יכול לפתור יותר סוגי בקשות ללא עזרה אנושית.

שיעור הסטה לעומת שיעור הכלה

שני המדדים האלה קשורים זה לזה, אך מודדים דברים שונים.

שיעור הכלה מודד כמה שיחות הבוט פותר בעצמו מתוך כלל השיחות שהוא מטפל בהן.

שיעור הסטה מודד כמה כרטיסי תמיכה פוטנציאליים הבוט מונע מלהיווצר. זה כולל את שני המקרים הבאים:

• שיחות שהבוט פותר (אחרת המשתמש היה יוצר כרטיס)
• שיחות שבהן הבוט מספק מספיק מידע כך שהמשתמש אינו צריך לבצע המשך טיפול

קשה יותר למדוד שיעור הסטה במדויק, משום שהוא דורש להעריך מה היה קורה ללא הבוט. גישה נפוצה היא להשוות את נפח הכרטיסים לפני ואחרי פריסת הבוט, תוך בקרה על שינויים בתעבורה.

CSAT: מדידת איכות, לא רק תפוקה

בוט שפותר 90% מהשיחות אבל משאיר משתמשים מתוסכלים אינו הצלחה. ציון Customer Satisfaction (CSAT) מודד את הצד האיכותי.

שיטות איסוף

הגישה הנפוצה ביותר היא בקשת אגודל למעלה/למטה בסוף השיחה. היא נותנת אות שביעות רצון בינארי עם חיכוך מינימלי. Quickchat AI כוללת דירוג שיחות כפיצ׳ר מובנה, כך שאפשר לעקוב אחריו בלי לבנות לוגיקת סקרים מותאמת אישית.

בנצ׳מרקים של CSAT

בנצ׳מרקים בתעשייה ל-CSAT של צ׳אטבוטים משתנים לפי שימוש:

אם ה-CSAT שלכם נמוך מהטווחים האלה, הבעיה היא בדרך כלל אחת מאלה: תשובות שגויות (בעיה ב-Knowledge Base), תגובות לא מועילות (בעיה בהנדסת פרומפטים), או היעדר העברה לאדם כשצריך (בעיה בלוגיקת הסלמה).

מעקב אחר התפלגות נושאים

לדעת על מה משתמשים שואלים חשוב כמו לדעת עד כמה הבוט עונה היטב. סיווג נושאים מקבץ שיחות לפי תחום, ועוזר לכם:

1. לזהות פערי ידע (נושא שכיח עם שיעור פתרון נמוך = תוכן חסר)
2. לתעדף יצירת תוכן (לנושאים הנפוצים ביותר צריך להיות הכיסוי הטוב ביותר)
3. לזהות בעיות מתפתחות (זינוק פתאומי בנושא = בעיית מוצר פוטנציאלית)
4. להקצות משאבי נציגים אנושיים (נושאים שהבוט מטפל בהם בצורה חלשה צריכים כיסוי אנושי רב יותר)

רוב פלטפורמות הצ׳אטבוטים מבוססי ה-AI מסווגות נושאים אוטומטית באמצעות תוכן השיחה. Quickchat AI משתמשת בסיווג נושאים מבוסס AI שמקטלג שיחות בלי לדרוש כללי תיוג ידניים.

דוגמה לדוח נושאים

הטבלה הזו מראה מיד ש”בעיות גישה לחשבון” ו”מחלוקות חיוב” דורשות תשומת לב. שיעור הכלה נמוך ו-CSAT נמוך בתחומים האלה מצביעים על יכולות חסרות של הבוט או על פערי תוכן.

ניתוח סנטימנט

ניתוח סנטימנט מסווג את הטון הרגשי של הודעות המשתמש כחיובי, שלילי או ניטרלי. הוא שונה מ-CSAT משום שהוא מודד סנטימנט לאורך השיחה, ולא רק את התוצאה.

שיחה יכולה להסתיים בדירוג CSAT חיובי, אבל ניתוח סנטימנט עשוי לחשוף שהמשתמש היה מתוסכל בשלוש ההחלפות הראשונות לפני שהבוט הבין לבסוף את שאלתו. החיכוך הזה באמצע השיחה הוא מידע חשוב לשיפור הבוט.

מעקב סנטימנט מועיל ביותר כשהוא מצטבר לאורך זמן. מגמת עלייה בסנטימנט שלילי בכלל השיחות עשויה להצביע על בעיית מוצר (משתמשים שמגיעים כבר מתוסכלים) ולא על בעיית בוט.

מעקב אחר תוצאות

מעקב אחר תוצאות הולך מעבר להכלה כדי למדוד אם השיחה השיגה יעד עסקי מסוים. תוצאות נפוצות למעקב:

ב-Quickchat AI, מעקב אחר תוצאות זמין בתוכנית Professional ומעלה. ה-AI מסווג תוצאות שיחה אוטומטית, ואפשר להגדיר קטגוריות תוצאה מותאמות אישית שתואמות את הלוגיקה העסקית שלכם.

הגדרת Dashboard למדדי KPI

Dashboard למדדי KPI צריך לענות על שלוש שאלות במבט מהיר:

1. האם הבוט עובד? (שיעור הכלה, שיעור fallback, זמן תגובה ראשונה)
2. האם המשתמשים מרוצים? (CSAT, מגמת סנטימנט)
3. מה צריך שיפור? (פירוט נושאים עם שיעור הכלה ו-CSAT לכל נושא)

Dashboard מינימלי שימושי

אם אתם רק מתחילים, עקבו אחר חמשת המדדים האלה:

1. שיעור הכלה (יומי)
2. סך כל השיחות (יומי)
3. ציון CSAT (ממוצע שבועי)
4. 5 הנושאים המובילים לפי נפח (שבועי)
5. שיעור fallback (יומי)

חמשת המדדים האלה נותנים מספיק אות כדי לזהות בעיות ולתעדף שיפורים.

מקורות נתונים

שימוש במדדי KPI לשיפור הבוט

איסוף מדדים חסר טעם אם לא פועלים לפיהם. הנה גישה שיטתית:

מחזור סקירה שבועי

1. בדקו את מגמת שיעור ההכלה: האם היא עולה, יורדת או שטוחה? אם היא יורדת, בדקו את שיעור ה-fallback ואת התפלגות הנושאים כדי למצוא את הסיבה.
2. סקרו שיחות עם CSAT נמוך: קראו תמלילי שיחות אמיתיים שבהן משתמשים דירגו את החוויה כגרועה. חפשו דפוסים: תשובות שגויות, ניסוח מסורבל, הסלמה מוקדמת מדי או היעדר הסלמה.
3. זהו נושאים בנפח גבוה/הכלה נמוכה: אלה יעדי השיפור בעלי ההשפעה הגבוהה ביותר. הוסיפו מאמרי Knowledge Base, שפרו מאמרים קיימים או הוסיפו AI Actions כדי לטפל בהם.
4. בדקו מגמות סנטימנט: מעבר לסנטימנט שלילי ללא ירידה מקבילה ב-CSAT עשוי להצביע על תסכול מצטבר שעדיין לא הופיע בדירוגים.
5. השוו שבוע לשבוע: עקבו אם השינויים שביצעתם בשבוע שעבר השפיעו כמצופה.

פעולות שיפור נפוצות

עלות לשיחה

מדד ה-KPI התפעולי הסופי קושר הכול בחזרה לכסף. עלות לשיחה מודדת כמה עולה לכם כל אינטראקציה עם הבוט.

עלות לשיחת בוט = (עלות פלטפורמה חודשית + עלויות API) / סך כל השיחות

עבור תוכנית Quickchat AI Essential בעלות $99 לחודש, חלקו את עלות התוכנית החודשית במספר השיחות שה-AI מטפל בהן כדי לחשב עלות לשיחה.

השוו זאת לעלות של נציג אנושי המטפל באותה שיחה. אם נציג מטפל ב-4 שיחות בשעה בעלות מלאה של $20 לשעה, מדובר ב-$5 לשיחה. הבוט זול ביותר מפי 100 לכל אינטראקציה, עוד לפני שמביאים בחשבון את זמן הנציג שמתפנה למקרים מורכבים.

החישוב נעשה מורכב יותר עם תמחור מבוסס שימוש או אם אתם מריצים מודלים משלכם, אך פער סדר הגודל בין עלות בוט לבין עלות אדם לשיחה נשמר כמעט בכל תרחיש. כדי לבצע את החישוב הזה על נפח הכרטיסים שלכם, השתמשו ב-מחשבון ROI לצ׳אטבוט האינטראקטיבי. למידע נוסף על עלויות צ׳אטבוטים, ראו את מדריך העלויות המפורט שלנו.

קריאה נוספת

• כמה באמת עולה צ׳אטבוט?: פירוט תמחור מלא
• מדריך AI לתמיכת לקוחות 24/7: אסטרטגיות לשיפור CSAT
• יכולת הרחבה של תמיכת לקוחות: הרחבת פעילות התמיכה באמצעות AI