مؤشرات أداء الشات بوت: ما الذي تقيسه وكيف تتابعه

نشر شات بوت هو الجزء السهل. معرفة ما إذا كان يعمل فعلا تتطلب القياس. تفشل معظم عمليات نشر الشات بوت ليس لأن التقنية سيئة، بل لأن أحدا لم يحدد معنى “يعمل” أو لم يتتبع المقاييس الصحيحة لمعرفة ذلك.

يغطي هذا الدليل مؤشرات الأداء التي تهم أداء الشات بوت، وكيفية حسابها، ومعايير القياس التي يجب استهدافها، وكيفية استخدام البيانات لتحسين البوت بمرور الوقت.

مؤشرات الأداء الأساسية

هناك عشرات المقاييس التي يمكنك تتبعها. المقاييس أدناه هي الأكثر قابلية للتطبيق. تنقسم إلى فئتين: مقاييس تشغيلية (هل يؤدي البوت مهمته؟) ومقاييس جودة (هل يؤدي البوت مهمته بجودة؟).

المقاييس التشغيلية

مقاييس الجودة

معدل الاحتواء: أهم مقياس

يقيس معدل الاحتواء ما إذا كان البوت يستطيع التعامل مع المحادثة من البداية إلى النهاية من دون تدخل إنسان. وهو أهم مقياس تشغيلي منفرد لأنه يرتبط مباشرة بتوفير التكلفة.

إذا كان لدى البوت معدل احتواء يبلغ 70%، فهذا يعني أن 7 من كل 10 محادثات مؤتمتة بالكامل. أما المحادثات الـ 3 المتبقية فتحول إلى وكلاء بشريين. كل نقطة مئوية تحسن في معدل الاحتواء تعني مباشرة عددا أقل من ساعات الوكلاء المطلوبة.

كيفية حسابه

معدل الاحتواء = (المحادثات التي حلها البوت وحده / إجمالي المحادثات) * 100

تعني المحادثة “المحلولة” أن المستخدم حصل على إجابته أو أكمل مهمته. المحادثة التي تنتهي بمغادرة المستخدم بسبب الإحباط ليست محلولة، حتى إن لم يتدخل إنسان. هذا التمييز مهم. بعض البوتات تبلغ عن معدلات احتواء مرتفعة لمجرد أن المستخدمين استسلموا، وهذا ليس الشيء نفسه مثل الحل.

ما الذي يؤثر في معدل الاحتواء

• تغطية قاعدة المعرفة: إذا لم يكن لدى البوت معلومات عن موضوع ما، فلن يستطيع الإجابة عن أسئلة حوله. الفجوات في قاعدة المعرفة هي السبب الأكثر شيوعا لانخفاض الاحتواء.
• دقة التعرف إلى القصد: إذا أساء البوت فهم ما يسأل عنه المستخدم، فإما أن يقدم إجابة خاطئة (مستخدم غير راض) أو يصعد المحادثة بلا حاجة (احتواء أقل).
• تصميم المحادثة: طريقة تعامل البوت مع الغموض، وأسئلة المتابعة، والمحادثات متعددة الجولات تؤثر في قدرته على حل الاستفسار بالكامل.
• قدرات الإجراءات: إذا كان البوت يستطيع البحث عن حالة الطلب، أو إنشاء تذاكر، أو تنفيذ إجراءات أخرى، فيمكنه حل أنواع أكثر من الطلبات من دون مساعدة بشرية.

معدل التحويل عن الدعم مقابل معدل الاحتواء

هذان المقياسان مرتبطان ولكنهما يقيسان أشياء مختلفة.

معدل الاحتواء يقيس عدد المحادثات التي يحلها البوت بنفسه من بين جميع المحادثات التي يتعامل معها.

معدل التحويل عن الدعم يقيس عدد تذاكر الدعم المحتملة التي يمنع البوت إنشاءها. وهذا يشمل كلا من:

• المحادثات التي يحلها البوت (كان المستخدم سينشئ تذكرة لولا ذلك)
• المحادثات التي يقدم فيها البوت معلومات كافية بحيث لا يحتاج المستخدم إلى متابعة

يصعب قياس معدل التحويل عن الدعم بدقة لأنه يتطلب تقدير ما كان سيحدث من دون البوت. النهج الشائع هو مقارنة حجم التذاكر قبل نشر البوت وبعده، مع ضبط التغيرات في حركة المرور.

CSAT: قياس الجودة، وليس الإنتاجية فقط

البوت الذي يحل 90% من المحادثات لكنه يترك المستخدمين محبطين ليس ناجحا. تلتقط درجة رضا العملاء (CSAT) الجانب النوعي.

طرق الجمع

النهج الأكثر شيوعا هو طلب إبهام لأعلى/لأسفل في نهاية المحادثة. يعطيك هذا إشارة رضا ثنائية بأقل احتكاك. يتضمن Quickchat AI تقييم المحادثات كميزة مدمجة، لذلك يمكنك تتبعه من دون بناء منطق استبيان مخصص.

معايير قياس CSAT

تختلف معايير القطاع الخاصة بدرجة CSAT في الشات بوت حسب حالة الاستخدام:

إذا كانت درجة CSAT لديك أقل من هذه النطاقات، فعادة ما تكون المشكلة واحدة من: إجابات غير صحيحة (مشكلة في قاعدة المعرفة)، أو ردود غير مفيدة (مشكلة في هندسة البرومبت)، أو عدم التحويل إلى وكيل عند الحاجة (مشكلة في منطق التصعيد).

تتبع توزيع الموضوعات

معرفة ما يسأل عنه المستخدمون مهمة بقدر معرفة مدى جودة إجابات البوت. يصنف تصنيف الموضوعات المحادثات حسب الموضوع، مما يساعدك على:

1. تحديد فجوات المعرفة (موضوع متكرر مع معدل حل منخفض = محتوى مفقود)
2. تحديد أولويات إنشاء المحتوى (يجب أن تحصل الموضوعات الأكثر شيوعا على أفضل تغطية)
3. اكتشاف المشكلات الناشئة (ارتفاع مفاجئ في موضوع = مشكلة محتملة في المنتج)
4. تخصيص موارد الوكلاء البشريين (الموضوعات التي يتعامل معها البوت بشكل ضعيف تحتاج إلى تغطية بشرية أكبر)

تصنف معظم منصات الشات بوت المدعومة بالذكاء الاصطناعي الموضوعات تلقائيا باستخدام محتوى المحادثة. يستخدم Quickchat AI تصنيفا للموضوعات معتمدا على الذكاء الاصطناعي يصنف المحادثات من دون الحاجة إلى قواعد وسم يدوية.

مثال على تقرير الموضوعات

يوضح هذا الجدول فورا أن “مشكلات الوصول إلى الحساب” و”نزاعات الفوترة” تحتاجان إلى اهتمام. يشير انخفاض الاحتواء وانخفاض CSAT في هذين المجالين إلى نقص في قدرات البوت أو فجوات في المحتوى.

تحليل المشاعر

يصنف تحليل المشاعر النبرة العاطفية لرسائل المستخدم على أنها إيجابية أو سلبية أو محايدة. يختلف هذا عن CSAT لأنه يقيس المشاعر على امتداد المحادثة، وليس النتيجة فقط.

قد تنتهي محادثة بتقييم CSAT إيجابي، لكن تحليل المشاعر قد يكشف أن المستخدم كان محبطا في أول ثلاث تبادلات قبل أن يفهم البوت سؤاله أخيرا. هذا الاحتكاك في منتصف المحادثة معلومات قيّمة لتحسين البوت.

يكون تتبع المشاعر أكثر فائدة عند تجميعه بمرور الوقت. قد يشير اتجاه متصاعد في المشاعر السلبية عبر كل المحادثات إلى مشكلة في المنتج (مستخدمون يأتون وهم محبطون أصلا) بدلا من مشكلة في البوت.

تتبع النتائج

يتجاوز تتبع النتائج الاحتواء لقياس ما إذا كانت المحادثة قد حققت هدفا تجاريا محددا. النتائج الشائعة التي يجب تتبعها:

في Quickchat AI، يتوفر تتبع النتائج في خطة Professional وما فوق. يصنف الذكاء الاصطناعي نتائج المحادثات تلقائيا، ويمكنك تعريف فئات نتائج مخصصة تطابق منطق عملك.

إعداد لوحة معلومات لمؤشرات الأداء

يجب أن تجيب لوحة معلومات مؤشرات الأداء عن ثلاثة أسئلة بنظرة واحدة:

1. هل يعمل البوت؟ (معدل الاحتواء، معدل الرجوع إلى رد عام، وقت الاستجابة الأولى)
2. هل المستخدمون راضون؟ (CSAT، اتجاه المشاعر)
3. ما الذي يحتاج إلى تحسين؟ (تفصيل الموضوعات مع الاحتواء وCSAT لكل موضوع)

لوحة معلومات قابلة للاستخدام بالحد الأدنى

إذا كنت تبدأ للتو، فتتبع هذه المقاييس الخمسة:

1. معدل الاحتواء (يوميا)
2. إجمالي المحادثات (يوميا)
3. درجة CSAT (متوسط أسبوعي)
4. أعلى 5 موضوعات حسب الحجم (أسبوعيا)
5. معدل الرجوع إلى رد عام (يوميا)

تعطيك هذه الخمسة إشارة كافية لتحديد المشكلات وترتيب التحسينات حسب الأولوية.

مصادر البيانات

استخدام مؤشرات الأداء لتحسين البوت

جمع المقاييس بلا فائدة إذا لم تتخذ إجراءات بناء عليها. إليك نهجا منهجيا:

دورة مراجعة أسبوعية

1. تحقق من اتجاه معدل الاحتواء: هل يرتفع أم ينخفض أم ثابت؟ إذا كان ينخفض، فتحقق من معدل الرجوع إلى رد عام وتوزيع الموضوعات للعثور على السبب.
2. راجع المحادثات ذات CSAT المنخفض: اقرأ نصوص المحادثات الفعلية التي قيّم فيها المستخدمون التجربة بشكل سيئ. ابحث عن أنماط: إجابات خاطئة، صياغة مربكة، تصعيد مبكر، أو غياب التصعيد.
3. حدد الموضوعات عالية الحجم ومنخفضة الاحتواء: هذه هي أهداف التحسين ذات الأثر الأكبر. أضف مقالات إلى قاعدة المعرفة، أو حسن المقالات الحالية، أو أضف AI Actions للتعامل معها.
4. تحقق من اتجاهات المشاعر: قد يشير التحول نحو المشاعر السلبية من دون انخفاض مقابل في CSAT إلى تراكم إحباط لم يظهر بعد في التقييمات.
5. قارن أسبوعا بأسبوع: تتبع ما إذا كانت التغييرات التي أجريتها الأسبوع الماضي قد حققت الأثر المتوقع.

إجراءات تحسين شائعة

التكلفة لكل محادثة

يربط مؤشر الأداء التشغيلي النهائي كل شيء بالمال. تقيس التكلفة لكل محادثة تكلفة كل تفاعل مع البوت.

التكلفة لكل محادثة بوت = (تكلفة المنصة الشهرية + تكاليف API) / إجمالي المحادثات

بالنسبة إلى خطة Quickchat AI Essential بسعر $99/شهر، اقسم تكلفة الخطة الشهرية على عدد المحادثات التي يتعامل معها الذكاء الاصطناعي لحساب التكلفة لكل محادثة.

قارن ذلك بتكلفة تعامل وكيل بشري مع المحادثة نفسها. إذا كان الوكيل يتعامل مع 4 محادثات في الساعة بتكلفة إجمالية محملة قدرها $20/ساعة، فهذا يعني $5 لكل محادثة. البوت أرخص بأكثر من 100x لكل تفاعل، حتى قبل احتساب تحرير وقت الوكيل للحالات المعقدة.

يصبح الحساب أكثر دقة مع التسعير القائم على الاستخدام أو إذا كنت تشغل نماذجك الخاصة، لكن فارق الرتبة الحجمية بين تكلفة البوت وتكلفة الإنسان لكل محادثة يبقى قائما في معظم السيناريوهات تقريبا. لإجراء هذه الحسابات على حجم التذاكر لديك، استخدم حاسبة عائد الاستثمار للشات بوت التفاعلية. لمزيد من المعلومات عن تكاليف الشات بوت، راجع دليل التكلفة المفصل.

قراءة إضافية

• ما التكلفة الفعلية للشات بوت؟: تفصيل كامل للتسعير
• دليل دعم العملاء بالذكاء الاصطناعي على مدار 24/7: استراتيجيات تحسين CSAT
• قابلية توسع دعم العملاء: توسيع عمليات الدعم باستخدام الذكاء الاصطناعي