Paiement à l'Usage - AI Model Orchestration and Workflows Platform
Les méthodes standards comme BLEU et ROUGE sont souvent inadaptées aux chatbots spécialisés. Au lieu de cela, les mesures spécifiques aux tâches se concentrent sur la manière dont un chatbot remplit son objectif, comme résoudre des problèmes, accomplir des tâches ou atteindre les objectifs des utilisateurs.
Indicateurs clés à connaître :
Pourquoi c'est important : Des entreprises comme Klarna économisent des millions chaque année en réduisant les demandes répétées grâce à des évaluations ciblées. Des outils avancés, tels que les plateformes de flux de travail d'IA et les grands modèles linguistiques (LLM), rationalisent le processus, offrant des informations en temps réel et une analyse rentable.
À retenir : utilisez des mesures personnalisées et des outils avancés pour améliorer les performances du chatbot, réduire les coûts et améliorer la satisfaction des utilisateurs.
Lorsqu’il s’agit d’évaluer l’efficacité d’un chatbot, il est essentiel d’aller au-delà des mesures standards. Les mesures de base se concentrent sur la manière dont un chatbot effectue des tâches spécifiques, fournissant ainsi une idée claire de sa capacité à atteindre ses objectifs.
Le taux de réussite des tâches suit le pourcentage d'interactions clients que votre chatbot termine avec succès sans avoir besoin d'aide humaine. Cette mesure est un indicateur direct de l’efficacité avec laquelle votre chatbot résout lui-même les problèmes des clients.
__XLATE_6__
« Le taux de réussite des tâches mesure le pourcentage d'interactions client réussies réalisées par votre assistant IA sans aucune aide de vos équipes. Cette mesure vous aidera à évaluer l'efficacité de votre assistance basée sur l'IA dans l'exécution rapide des tâches pour les clients, et donc, la performance globale de votre service client. » - Lewis Henderson, explorateur Gen AI chez EBI.AI
Par exemple, les assistants IA d’EBI.AI ont en moyenne un taux de réussite de 96 %. Les ferries Stena Line ont atteint un taux de réussite impressionnant de 99,88 %, tandis que Legal & Assurance générale et aboiements et amp; Le Conseil de Dagenham maintient un taux de réussite de 98 % en utilisant la même plateforme.
However, measuring success involves more than just tallying completed tasks. It’s about ensuring the user's original intent was fully addressed. Klarna, for instance, monitors whether users revisit the same topic within a week. This focus on intent resolution helped them cut repeat inquiries by 25% and save $40 million annually.
Pour les chatbots gérant des tâches complexes, ventiler les taux de réussite par type de tâche et tirer parti de l’analyse en temps réel et de l’apprentissage automatique peuvent aider à affiner leurs performances. En fin de compte, il ne s’agit pas seulement d’accomplir des tâches, il s’agit également de répondre aux attentes des utilisateurs.
Goal Completion Rate shifts the focus from task interactions to outcomes. It measures how often users accomplish their intended goals - whether it’s booking a service, finding information, or making a purchase - when interacting with your chatbot.
Unlike general engagement metrics, GCR emphasizes meaningful results. A long conversation that doesn’t lead to a goal is still a failure. Improving GCR can significantly impact your bottom line. Automating responses to common queries can reduce customer support costs by up to 30%. In industries like banking and healthcare, chatbots save businesses an estimated $0.50 to $0.70 per query.
To enhance GCR, start by defining clear, measurable goals based on your chatbot's purpose. Streamline conversations to avoid confusing users, and use AI-driven tools like natural language processing to deliver personalized responses. Feedback mechanisms are also crucial for identifying why goals aren’t met. Regularly reviewing this data alongside other metrics can help pinpoint patterns and areas for improvement.
Le Bot Automation Score mesure la fréquence à laquelle votre chatbot répond aux besoins des clients sans passer par un agent en direct. Cette métrique binaire identifie si une interaction a été entièrement automatisée ou non.
Le score commence à 100 % et déduit les pénalités pour des problèmes tels que les escalades, les faux positifs et les commentaires négatifs. L’automatisation devient de plus en plus importante dans tous les secteurs. Par exemple, les données de Salesforce montrent que le pourcentage d'entreprises donnant la priorité à la réorientation des dossiers comme indicateur de performance clé est passé de 36 % en 2018 à 67 % en 2022. Cela reflète la reconnaissance croissante du fait qu'une automatisation efficace améliore à la fois l'expérience utilisateur et l'efficacité opérationnelle.
__XLATE_12__
« Ce que les gens ne réalisent souvent pas, c'est que lorsque vous augmentez les interactions avec le chatbot (généralement parce que vous formez bien votre assistant IA et qu'il est capable de répondre à davantage de requêtes des clients de bout en bout), vos interactions par chat en direct diminuent. C'est gagnant-gagnant, puisque vos clients obtiennent des réponses plus instantanées à leurs requêtes et que vos équipes doivent répondre à des requêtes moins routinières, ce qui leur donne plus de temps pour travailler sur des tâches rentables et vous aider à augmenter vos revenus. - Aaron Gleeson, responsable de la mise en œuvre chez EBI.AI
To measure BAS accurately, it’s important to go beyond simple automation rates. Factors like escalation trends, abandonment rates, user feedback, and whether the bot achieves meaningful resolutions should all be considered. Advanced analytics can also track sentiment and false positives, offering a more nuanced view of automation performance.
Le véritable succès réside dans l’atteinte d’un équilibre : garantir que les conversations automatisées répondent aux objectifs des utilisateurs tout en conservant une expérience positive. Cette approche permet d’identifier les domaines à améliorer sans compromettre la qualité du service.
Les mesures de tâches peuvent vous indiquer si un chatbot fait le travail, mais les mesures d'engagement vont plus loin. Ils révèlent ce que les utilisateurs pensent de l’expérience et identifient les domaines dans lesquels les choses pourraient être plus fluides.
Le taux d'activation mesure le nombre d'utilisateurs qui effectuent une action spécifique indiquant qu'ils ont découvert une réelle valeur dans votre chatbot. Il peut s'agir de répondre avec succès à une requête, d'utiliser une fonctionnalité clé ou d'aller au-delà du message d'accueil initial.
This metric is a direct reflection of how effective your onboarding process is. If your activation rate is low, it’s a red flag that users aren’t seeing value quickly enough, which often leads to them abandoning the chatbot altogether.
Pourquoi est-ce important ? Parce que les enjeux sont élevés. Les entreprises ayant des taux d'engagement élevés bénéficient de 50 % de clients réguliers en plus, et ces clients dépensent 67 % de plus que les nouveaux clients. Mieux encore, une augmentation de 10 % seulement de l'engagement peut entraîner une augmentation des revenus de 21 %.
Certaines entreprises ont réussi à le faire. Dropbox, par exemple, a connu une croissance massive en gamifiant son programme de parrainage, offrant un stockage supplémentaire en guise d'incitation. Slack, quant à lui, veille à ce que les nouveaux utilisateurs soient opérationnels en les guidant à travers les fonctionnalités clés dès le début. Les deux stratégies ont aidé les utilisateurs à comprendre rapidement la valeur apportée par ces plateformes.
If you want to improve your chatbot’s activation rate, start by simplifying the onboarding process. Cut out unnecessary steps and use guided tours or interactive walkthroughs to showcase essential features. Personalize the experience to match user needs, and make sure the interface is intuitive and visually appealing. Above all, highlight the immediate benefits users will gain from engaging with your chatbot.
Now, let’s look at how long users stick around during a conversation.
Average session duration tells you how much time users spend interacting with your chatbot in a single conversation. But this metric isn’t as straightforward as it seems - both short and long sessions can mean different things.
Short sessions often indicate that the chatbot is resolving issues quickly, which is great for customer satisfaction. On the flip side, longer sessions might suggest the chatbot is struggling with complex queries or inefficiencies in its responses. Understanding what’s normal for your industry is key.
Par exemple, le support e-commerce vise généralement des sessions de chat d'une durée de 5 à 10 minutes, tandis que le support technique peut aller de 10 à 20 minutes en raison de la nature des problèmes. Les services financiers se situent quelque part entre les deux et durent généralement de 8 à 15 minutes.
Plusieurs facteurs influencent la durée de la session : la complexité du problème, le niveau de formation de votre chatbot, les performances du système et même la clarté avec laquelle les utilisateurs communiquent leurs besoins. Les chatbots sont particulièrement efficaces pour gérer les tâches de routine, en gérant efficacement environ 80 % d’entre elles et en prenant en charge 30 % des interactions par chat en direct.
L’impact de l’optimisation de la durée des sessions peut être énorme. Par exemple, Varma, une société de services de retraite, a économisé 330 heures par mois en utilisant un chatbot nommé Helmi. Cela a libéré deux agents de service pour d'autres responsabilités. Comme l'explique Tina Kurki, vice-présidente principale des services de retraite et de l'informatique chez Varma :
__XLATE_22__
"Notre chatbot GetJenny, Helmi, complète notre service client. La qualité de notre service client téléphonique a changé ; les problèmes courants sont réduits, tandis que les appels nécessitant une expertise humaine dominent."
To optimize session duration, focus on improving your chatbot’s ability to handle queries efficiently. Use pre-chat forms to gather basic information upfront, and ensure your system runs smoothly to avoid delays.
But session length isn’t the only thing to watch - early drop-offs can be just as telling. That’s where bounce rate comes in.
Bounce rate measures the percentage of users who start an interaction but don’t stick around long enough to engage meaningfully. It’s a valuable metric for spotting usability issues or figuring out if your chatbot’s initial responses are missing the mark.
A high bounce rate often signals that users aren’t finding what they need quickly or that the chatbot’s opening messages aren’t engaging enough. On the flip side, when done right, chatbots can significantly lower bounce rates. Some websites have reported up to a 30% improvement after implementing chatbots.
Les chiffres montrent à quel point cela est critique. Par exemple, le taux de rebond moyen des sites de commerce électronique est de 47 %, mais il grimpe à 51 % sur les appareils mobiles. Et si une page mobile met plus de dix secondes à se charger, les taux de rebond peuvent monter en flèche jusqu'à 123 %.
Le placement stratégique d’un chatbot peut aider. En déployant des chatbots sur des pages présentant des taux de rebond élevés, vous pouvez offrir une assistance rapide pour empêcher les visiteurs de partir. Les entreprises qui utilisent le marketing par chatbot constatent souvent une augmentation de 55 % du nombre de prospects de haute qualité.
Des exemples concrets le confirment. Une entreprise de commerce électronique a utilisé un chatbot pour suggérer des produits en fonction de l'historique de navigation, augmentant ainsi le temps passé par les utilisateurs sur leur site. Starbucks est allé encore plus loin avec son application My Barista, permettant aux clients de passer des commandes par voix ou par SMS, réduisant ainsi les temps d'attente et améliorant la vitesse du service.
To lower bounce rates, personalize your chatbot’s welcome message to match the page or user demographics. Use concise, easy-to-read messaging and include interactive elements like buttons or quick-reply options. You can also program your chatbot to detect inactivity or exit intent and send tailored prompts to re-engage users .
L’objectif est de créer une expérience sans effort et immédiatement précieuse. Comme Jesse l'a dit :
"By offering users a more tailored and engaging experience, businesses can significantly reduce bounce rates, boost conversions, and build lasting customer relationships." – Jesse
"By offering users a more tailored and engaging experience, businesses can significantly reduce bounce rates, boost conversions, and build lasting customer relationships." – Jesse
Les chatbots sont forcément confrontés à des erreurs. Ce qui compte vraiment, c'est l'efficacité avec laquelle ils gèrent ces erreurs et le moment où ils savent qu'il est temps d'impliquer un agent humain. Les mesures de gestion des erreurs et de leur escalade fournissent un aperçu des difficultés rencontrées par les chatbots et s'ils effectuent les bons appels lors de la transmission des conversations vers une assistance humaine.
La précision de la prédiction du transfert évalue la capacité d'un chatbot à identifier le bon moment pour transmettre une conversation à un agent humain. Le timing est primordial ici : une escalade trop précoce peut gaspiller des ressources humaines, tandis qu'une attente trop longue risque de frustrer les utilisateurs. Cette métrique évalue dans quelle mesure le bot détecte quand une intervention humaine est nécessaire. Il est intéressant de noter que seulement 44 % des entreprises surveillent les performances des chatbots grâce à l’analyse des messages.
Pour améliorer la précision du transfert, analysez les modèles de conversations qui nécessitent une implication humaine. Entraînez votre chatbot à détecter les signes avant-coureurs tels que les demandes répétées de clarification, les expressions de frustration ou les requêtes complexes qui nécessitent un jugement humain. En affinant cette compétence, vous pouvez trouver un équilibre entre efficacité et satisfaction des utilisateurs.
La surveillance de la précision du transfert est également liée au suivi de l’excès de confiance, c’est là que le taux de faux positifs entre en jeu.
Le taux de faux positifs mesure la fréquence à laquelle un chatbot prétend à tort qu’une tâche est terminée ou ne parvient pas à résoudre les problèmes non résolus. Essentiellement, cela met en évidence des moments d’excès de confiance. Il s'agit d'une mesure essentielle, car les utilisateurs peuvent croire que leur problème est résolu alors qu'il ne l'est pas, ce qui pourrait entraîner des problèmes plus importants à long terme.
Par exemple, un détaillant en ligne a déjà été confronté à des réactions négatives de la part de ses clients lorsque son système de détection de fraude a signalé par erreur des transactions légitimes. Cela a non seulement entraîné des annulations de commandes, mais a également augmenté la charge de travail des équipes d'assistance. Les mêmes risques s’appliquent aux chatbots : lorsqu’ils signalent avec confiance une résolution sans réellement résoudre le problème, la confiance des utilisateurs en prend un coup.
Comme le souligne Tomas Dolmantas :
__XLATE_35__
"Pour les applications numériques modernes, la précision n'est pas facultative ; c'est le fondement de la confiance et de la fiabilité. C'est pourquoi il est essentiel de s'attaquer aux faux positifs et aux faux négatifs dans les tests de logiciels - car si votre application ne peut pas faire la différence entre soulever des poids et soulever des collations, qu'est-ce qui ne va pas d'autre ?"
Pour minimiser les faux positifs, mettez en œuvre des seuils de confiance qui nécessitent une plus grande certitude avant de confirmer l'achèvement de la tâche. Mettez régulièrement à jour les scénarios de test et utilisez des environnements de test stables pour éviter les erreurs causées par des tests peu fiables.
Bien qu’il soit essentiel de suivre la précision des prédictions et l’excès de confiance, les commentaires des utilisateurs offrent une autre perspective pour comprendre les performances des chatbots.
Le taux de retours négatifs capture l’insatisfaction explicite des utilisateurs, offrant une vue directe des lacunes du chatbot. Même si tous les utilisateurs n'expriment pas leur frustration, ceux qui le font fournissent souvent des informations précieuses sur des problèmes spécifiques, qu'il s'agisse d'un malentendu, de réponses non pertinentes ou d'un échec dans l'exécution d'une tâche.
Cette mesure est particulièrement utile pour identifier les domaines nécessitant des améliorations. En catégorisant les plaintes en fonction de leur type et de leur fréquence, vous pouvez découvrir des tendances qui indiquent des problèmes systémiques plus larges. Ces informations peuvent ensuite être utilisées pour affiner les données de formation et améliorer les flux de conversation.
L'objectif de la gestion des erreurs n'est pas d'éliminer toutes les erreurs mais de les gérer de manière à maintenir la confiance des utilisateurs tout en améliorant continuellement les capacités du chatbot.
L’évaluation manuelle des métriques du chatbot devient peu pratique à mesure que les opérations évoluent. Les plates-formes de flux de travail d'IA relèvent ce défi en automatisant les processus complexes de suivi, d'analyse et d'amélioration des données de performances. Ces plates-formes utilisent des outils tels que l'apprentissage automatique, le traitement du langage naturel et la logique basée sur des règles pour se connecter de manière transparente entre divers systèmes, équipes et sources de données. Cette automatisation jette les bases d’une analyse métrique plus efficace et plus précise.
L'impact de l'automatisation sur les opérations commerciales est bien documenté. Par exemple, 75 % des entreprises considèrent l'automatisation comme un avantage concurrentiel, et 91 % déclarent avoir amélioré leur visibilité opérationnelle après l'adoption de systèmes automatisés. Le marché mondial de l’automatisation des flux de travail devrait atteindre 23,77 milliards de dollars d’ici 2025.
Les plateformes de flux de travail d’IA éliminent le besoin de tâches manuelles fastidieuses telles que la catégorisation et l’extraction des données. Au lieu de cela, ils organisent automatiquement les demandes, hiérarchisent les flux de travail, extraient les données critiques et génèrent des rapports de performances.
Par exemple, un fournisseur mondial de logiciels utilise un assistant IA pour analyser les sentiments exprimés dans les tickets d’assistance entrants. Le système signale les messages urgents ou négatifs et les achemine vers des agents seniors, tandis que les demandes de routine sont traitées par des chatbots ou par une assistance de premier niveau. Cette approche réduit les délais de réponse et garantit que les problèmes critiques reçoivent une attention rapide.
Ces plateformes surveillent également les interactions en temps réel, fournissant ainsi des informations sur les taux de réussite des tâches, les niveaux d'engagement et les modèles d'erreurs. Ce suivi continu permet des ajustements rapides des performances en cas de besoin.
De plus, l’intégration de modèles linguistiques avancés fait passer l’analyse métrique à un niveau supérieur.
Les grands modèles de langage (LLM) apportent un niveau de compréhension plus approfondi à l'évaluation des performances des chatbots, allant au-delà des méthodes traditionnelles basées sur des règles. Ils évaluent divers aspects des interactions des chatbots, tels que l'achèvement des tâches, l'intelligence contextuelle, la pertinence et même la détection des hallucinations. Leur capacité à saisir le contexte, à détecter les sentiments et à interpréter les expressions idiomatiques les rend inestimables pour une analyse nuancée des performances.
Avec des milliards de paramètres, les LLM excellent dans l’identification d’indices conversationnels subtils. La recherche indique que les LLM s'alignent sur les évaluations humaines dans 81 % des cas, ce qui en fait des outils d'évaluation très fiables.
Des plates-formes telles que prompts.ai exploitent cette capacité en intégrant des LLM pour créer des invites personnalisées adaptées à des critères d'évaluation spécifiques. Cela permet une analyse sophistiquée de la qualité des conversations, de la satisfaction des utilisateurs et des tendances en matière d’achèvement des tâches. Des exemples concrets illustrent leur efficacité : Helvetia Insurance en Suisse utilise un chatbot nommé Clara pour répondre aux questions des clients concernant l'assurance, tandis que Jumbo, un détaillant suisse de bricolage, utilise un chatbot alimenté par LLM pour aider les visiteurs de son site Web avec des recommandations de produits.
Cette intégration avancée aide également les organisations à gérer efficacement leurs coûts, comme indiqué ci-dessous.
À mesure que les systèmes d’IA se développent, il devient essentiel de contrôler les coûts opérationnels. Le suivi de la tokenisation fournit une vue claire des coûts d'utilisation, permettant une gestion précise du budget et une analyse du retour sur investissement. Des plates-formes telles que prompts.ai utilisent des modèles de paiement à l'utilisation pour surveiller la consommation de jetons, aidant ainsi les entreprises à équilibrer la qualité des performances et l'efficacité financière.
En analysant les modèles d'utilisation des jetons, les organisations peuvent identifier les inefficacités, telles que des invites trop longues ou des étapes d'évaluation redondantes. Effectuer de petits ajustements, comme l'optimisation de la conception des invites, la définition de limites de longueur de réponse ou la mise en cache des contextes couramment utilisés, peut réduire considérablement la surcharge des jetons.
Les avantages sont clairs : 74 % des entreprises utilisant l'IA générative déclarent un retour sur investissement dès la première année, et 64,4 % des utilisateurs quotidiens constatent des gains de productivité considérables. La combinaison du suivi automatisé, de l'intégration LLM et de la tokenisation rentable crée une approche évolutive et soucieuse du budget pour l'évaluation des chatbots.
Lorsqu'il s'agit d'optimiser les chatbots pour une utilisation réelle, les mesures d'évaluation spécifiques aux tâches sont la clé du succès. Savoir comment mesurer et affiner leurs performances est essentiel pour rester en tête dans un paysage concurrentiel.
Ces mesures se répartissent généralement en trois catégories principales : l'achèvement des tâches (comme le taux de réussite des tâches et le taux d'achèvement des objectifs), l'engagement des utilisateurs (comme le taux d'activation et la durée moyenne de session) et la gestion des erreurs (y compris la précision de la prédiction du transfert et le taux de faux positifs). Chacun de ces domaines fournit une perspective pour évaluer les performances de votre chatbot et les domaines dans lesquels des améliorations sont nécessaires.
Evaluating chatbots effectively doesn’t just improve user experience - it can also lead to noticeable reductions in support costs. But the real savings and performance improvements only come when chatbots are consistently evaluated and fine-tuned.
À une échelle plus large, ces améliorations débloquent également des opportunités financières, rendant ainsi les solutions d’évaluation évolutives plus réalisables. Les plates-formes de flux de travail d'IA changent la donne ici, offrant des outils pour automatiser le suivi, l'analyse et les mises à jour des performances. Le marché de l'automatisation des flux de travail de l'IA se développe rapidement et devrait croître à un taux de croissance annuel composé (TCAC) de 21,5 %, passant de 20,1 milliards de dollars en 2023 à 78,6 milliards de dollars d'ici 2030. Ces plateformes rationalisent les processus complexes impliqués dans la surveillance et l'amélioration des performances des chatbots, rendant l'évolutivité à la fois réalisable et rentable.
L'intégration de grands modèles de langage dans ces systèmes améliore la précision de l'analyse des performances, tandis que des outils tels que le suivi de la tokenisation garantissent que les coûts restent gérables. Des plateformes telles que prompts.ai, avec leur tarification à l'utilisation, établissent un équilibre entre le maintien de performances de haute qualité et la gestion des dépenses, offrant ainsi un moyen intelligent de maximiser votre investissement dans le chatbot.
Ultimately, continuous monitoring and regular updates are non-negotiable. They ensure your chatbots evolve to meet user needs effectively while delivering measurable business results. The aim isn’t just to track performance - it’s to use those insights to build chatbots that genuinely make a difference for users and businesses alike.
Les mesures d'évaluation du chatbot spécifiques à une tâche sont conçues pour mesurer l'efficacité avec laquelle un chatbot remplit le rôle prévu. Ces mesures mettent l'accent sur des aspects tels que l'exactitude, la pertinence et la satisfaction des utilisateurs, offrant ainsi un moyen plus ciblé d'évaluer les performances. D'autre part, les métriques standards comme BLEU et ROUGE sont principalement utilisées pour évaluer la similarité des textes en analysant les chevauchements de n-grammes avec les textes de référence.
Bien que BLEU et ROUGE fonctionnent bien pour des tâches telles que la traduction ou le résumé, ils ne parviennent souvent pas à évaluer les réponses des chatbots, car ils ont tendance à pénaliser les variations valides de formulation. Les mesures spécifiques aux tâches répondent à cette limitation en se concentrant sur la compréhension contextuelle et la qualité globale des conversations, qui sont toutes deux essentielles pour évaluer la manière dont l'IA conversationnelle interagit avec les utilisateurs.
Pour augmenter le taux d'achèvement des objectifs (GCR) d'un chatbot, commencez par définir clairement ses objectifs et assurez-vous qu'ils correspondent aux besoins réels des utilisateurs. Un flux conversationnel bien cartographié est essentiel : il doit guider les utilisateurs sans effort vers l'accomplissement de leurs tâches, sans détours inutiles.
Dive into conversation logs regularly to pinpoint any sticking points or areas where users might get confused. Feedback tools, like user ratings or quick surveys, can also provide valuable insights into what’s working and what isn’t. Beyond that, refining the chatbot’s responses based on frequent user questions and behaviors can make it more efficient and helpful.
By focusing on these steps, you’ll create a smoother, more intuitive experience that helps your chatbot consistently meet its goals.
Les plates-formes de flux de travail d'IA simplifient la tâche de surveillance et d'affinement des performances des chatbots en fournissant des outils intégrés pour suivre des mesures importantes telles que le sentiment des utilisateurs, la précision des réponses et les taux de réussite des tâches. Ces plateformes collectent et analysent des données en temps réel, offrant une image claire de la manière dont les utilisateurs interagissent avec le chatbot.
Grâce à des fonctionnalités telles que des rapports automatisés et des tableaux de bord de performances, ces outils facilitent l'identification des zones problématiques, la résolution des inefficacités et l'affinement des flux de travail. En rationalisant le processus d'analyse, les plateformes de workflow d'IA contribuent à améliorer la fonctionnalité des chatbots tout en augmentant la satisfaction des utilisateurs.
