KPI de chatbot : quoi mesurer et comment suivre les résultats

Déployer un chatbot est la partie simple. Savoir s’il fonctionne réellement nécessite de la mesure. La plupart des déploiements de chatbot échouent non pas parce que la technologie est mauvaise, mais parce que personne n’a défini ce que signifie « fonctionner », ni suivi les bonnes métriques pour le vérifier.

Ce guide couvre les KPI importants pour mesurer la performance d’un chatbot, la façon de les calculer, les benchmarks à viser et l’utilisation des données pour améliorer votre bot au fil du temps.

Les KPI essentiels

Vous pourriez suivre des dizaines de métriques. Celles ci-dessous sont les plus exploitables. Elles se répartissent en deux catégories : les métriques opérationnelles (le bot fait-il son travail ?) et les métriques de qualité (le bot fait-il bien son travail ?).

Métriques opérationnelles

Métriques de qualité

Taux de containment : la métrique la plus importante

Le taux de containment mesure si le bot peut traiter une conversation du début à la fin sans intervention humaine. C’est la métrique opérationnelle la plus importante, car elle est directement corrélée aux économies de coûts.

Si votre bot a un taux de containment de 70%, cela signifie que 7 conversations sur 10 sont entièrement automatisées. Les 3 restantes sont transférées à des agents humains. Chaque point de pourcentage gagné sur le taux de containment se traduit directement par moins d’heures agent nécessaires.

Comment le calculer

Taux de containment = (conversations résolues uniquement par le bot / total des conversations) * 100

Une conversation « résolue » signifie que l’utilisateur a obtenu sa réponse ou terminé sa tâche. Une conversation qui se termine parce que l’utilisateur part frustré n’est pas résolue, même si aucun humain n’a pris le relais. Cette distinction est importante. Certains bots affichent des taux de containment élevés simplement parce que les utilisateurs abandonnent, ce qui n’est pas équivalent à une résolution.

Ce qui influence le taux de containment

• Couverture de la base de connaissances : si le bot ne dispose pas d’informations sur un sujet, il ne peut pas répondre aux questions correspondantes. Les lacunes de la base de connaissances sont la cause la plus fréquente d’un faible containment.
• Précision de la reconnaissance d’intention : si le bot comprend mal la demande de l’utilisateur, il donne soit une mauvaise réponse (utilisateur insatisfait), soit il escalade inutilement (containment plus faible).
• Conception de la conversation : la façon dont le bot gère l’ambiguïté, les questions de suivi et les conversations à plusieurs tours influe sur sa capacité à résoudre entièrement une demande.
• Capacités d’action : si le bot peut consulter le statut d’une commande, créer des tickets ou effectuer d’autres actions, il peut résoudre davantage de types de demandes sans aide humaine.

Taux de déflexion et taux de containment

Ces deux métriques sont liées, mais mesurent des choses différentes.

Le taux de containment mesure le nombre de conversations que le bot résout seul parmi toutes les conversations qu’il traite.

Le taux de déflexion mesure le nombre de tickets de support potentiels dont le bot empêche la création. Cela inclut à la fois :

• Les conversations que le bot résout (l’utilisateur aurait autrement créé un ticket)
• Les conversations où le bot fournit suffisamment d’informations pour que l’utilisateur n’ait pas besoin de relancer

Le taux de déflexion est plus difficile à mesurer avec précision, car il faut estimer ce qui se serait passé sans le bot. Une approche courante consiste à comparer le volume de tickets avant et après le déploiement du bot, en contrôlant les variations de trafic.

CSAT : mesurer la qualité, pas seulement le débit

Un bot qui résout 90% des conversations mais laisse les utilisateurs frustrés n’est pas une réussite. Le score Customer Satisfaction (CSAT) capture l’aspect qualitatif.

Méthodes de collecte

L’approche la plus courante est une demande pouce haut/bas à la fin de la conversation. Elle vous donne un signal de satisfaction binaire avec un minimum de friction. Quickchat AI inclut la notation des conversations en tant que fonctionnalité intégrée, ce qui vous permet de la suivre sans construire de logique d’enquête personnalisée.

Benchmarks CSAT

Les benchmarks sectoriels de CSAT pour les chatbots varient selon le cas d’usage :

Si votre CSAT est inférieur à ces plages, le problème est généralement l’un des suivants : réponses incorrectes (problème de base de connaissances), réponses peu utiles (problème de prompt engineering) ou absence de transfert lorsque nécessaire (problème de logique d’escalade).

Suivre la distribution des topics

Savoir ce que demandent les utilisateurs est aussi important que savoir dans quelle mesure le bot répond correctement. La classification des topics regroupe les conversations par sujet, ce qui vous aide à :

1. Identifier les lacunes de connaissances (topic fréquent avec faible taux de résolution = contenu manquant)
2. Prioriser la création de contenu (les topics les plus courants doivent avoir la meilleure couverture)
3. Détecter les problèmes émergents (pic soudain sur un topic = problème produit potentiel)
4. Allouer les ressources d’agents humains (les topics mal traités par le bot nécessitent plus de couverture humaine)

La plupart des plateformes de chatbot IA classent automatiquement les topics à partir du contenu des conversations. Quickchat AI utilise une classification des topics basée sur l’IA, qui catégorise les conversations sans nécessiter de règles de tagging manuelles.

Exemple de rapport de topics

Ce tableau montre immédiatement que les « problèmes d’accès au compte » et les « litiges de facturation » nécessitent une attention. Un faible containment et un faible CSAT dans ces domaines suggèrent soit des capacités manquantes du bot, soit des lacunes de contenu.

Analyse de sentiment

L’analyse de sentiment classe le ton émotionnel des messages utilisateur comme positif, négatif ou neutre. Elle diffère du CSAT, car elle mesure le sentiment tout au long de la conversation, et pas seulement le résultat.

Une conversation peut se terminer par une note CSAT positive, tandis que l’analyse de sentiment révèle que l’utilisateur était frustré pendant les trois premiers échanges avant que le bot comprenne enfin sa question. Cette friction en cours de conversation est une information précieuse pour améliorer le bot.

Le suivi du sentiment est surtout utile lorsqu’il est agrégé dans le temps. Une tendance à la hausse du sentiment négatif sur l’ensemble des conversations peut indiquer un problème produit (les utilisateurs arrivent déjà frustrés) plutôt qu’un problème du bot.

Suivi des résultats

Le suivi des résultats va au-delà du containment pour mesurer si la conversation a atteint un objectif métier spécifique. Résultats courants à suivre :

Dans Quickchat AI, le suivi des résultats est disponible à partir du plan Professional. L’IA classe automatiquement les résultats des conversations, et vous pouvez définir des catégories de résultats personnalisées qui correspondent à votre logique métier.

Configurer un tableau de bord KPI

Un tableau de bord KPI doit répondre à trois questions en un coup d’œil :

1. Le bot fonctionne-t-il ? (taux de containment, taux de fallback, temps de première réponse)
2. Les utilisateurs sont-ils satisfaits ? (CSAT, tendance de sentiment)
3. Que faut-il améliorer ? (répartition par topic avec containment et CSAT par topic)

Tableau de bord minimum viable

Si vous débutez, suivez ces cinq métriques :

1. Taux de containment (quotidien)
2. Total des conversations (quotidien)
3. Score CSAT (moyenne hebdomadaire)
4. Top 5 des topics par volume (hebdomadaire)
5. Taux de fallback (quotidien)

Ces cinq métriques vous donnent assez de signal pour identifier les problèmes et prioriser les améliorations.

Sources de données

Utiliser les KPI pour améliorer votre bot

Collecter des métriques ne sert à rien si vous n’agissez pas à partir d’elles. Voici une approche systématique :

Cycle de revue hebdomadaire

1. Vérifiez la tendance du taux de containment : est-il en hausse, en baisse ou stable ? S’il baisse, vérifiez le taux de fallback et la distribution des topics pour en trouver la cause.
2. Passez en revue les conversations à faible CSAT : lisez les transcriptions réelles des conversations où les utilisateurs ont mal noté l’expérience. Recherchez des patterns : mauvaises réponses, formulation maladroite, escalade prématurée ou escalade manquante.
3. Identifiez les topics à fort volume et faible containment : ce sont vos cibles d’amélioration avec le plus fort impact. Ajoutez des articles à la base de connaissances, améliorez ceux qui existent ou ajoutez des AI Actions pour les traiter.
4. Vérifiez les tendances de sentiment : un basculement vers un sentiment négatif sans baisse correspondante du CSAT peut indiquer une frustration en cours d’installation, qui n’apparaît pas encore dans les notes.
5. Comparez semaine après semaine : suivez si les changements effectués la semaine précédente ont produit l’effet attendu.

Actions d’amélioration courantes

Coût par conversation

Le KPI opérationnel ultime relie tout à l’argent. Le coût par conversation mesure combien vous coûte chaque interaction avec le bot.

Coût par conversation bot = (coût mensuel de la plateforme + coûts API) / total des conversations

Pour un plan Quickchat AI Essential à $99/mois, divisez le coût mensuel du plan par le nombre de conversations traitées par l’IA afin de calculer le coût par conversation.

Comparez ce montant au coût d’un agent humain qui traite la même conversation. Si un agent traite 4 conversations par heure avec un coût complet de $20/heure, cela représente $5 par conversation. Le bot coûte plus de 100 fois moins cher par interaction, avant même de tenir compte du temps agent libéré pour les cas complexes.

Le calcul devient plus nuancé avec une tarification à l’usage ou si vous exécutez vos propres modèles, mais l’écart d’ordre de grandeur entre le coût par conversation d’un bot et celui d’un humain se vérifie dans presque tous les scénarios. Pour effectuer ce calcul sur votre propre volume de tickets, utilisez le calculateur de ROI de chatbot interactif. Pour en savoir plus sur les coûts des chatbots, consultez notre guide détaillé des coûts.

Lectures complémentaires

• Combien coûte vraiment un chatbot ? : ventilation complète des prix
• Playbook IA pour le support client 24/7 : stratégies d’amélioration du CSAT
• Scalabilité du support client : faire évoluer les opérations de support avec l’IA