Superviser les réponses du bot

La fonction "Historique > Conversations" rend possible une supervision des réponses du bot en vue de détecter les non réponses ou les erreurs d'aiguillage amenant à une réponse hors-sujet.

Cette analyse permettra d'enrichir la connaissance du bot en complétant la Smart FAQ, les dictionnaires ou la conversation générale et améliorera ainsi sa compréhension et in fine la satisfaction des utilisateurs.

Le superviseur

Le superviseur de messages est structuré en 3 parties :

  • La partie de gauche liste les conversations de la période sélectionnée de la plus récente à la plus ancienne et par page de 10. Une pagination en bas de page permet de naviguer dans les pages et une barre de défilement verticale permet d'atteindre les conversations de la page.

  • La partie centrale affiche le détail de la conversation sélectionnée à gauche. Une barre de défilement verticale permet de naviguer dans la conversation. Les bulles de couleur vert canard sont des messages (questions ou conversation générale) ou des actions utilisateurs (Clic sur "oui" ou "non" de la satisfaction par exemple).

  • La partie de droite affiche des informations techniques sur la bulle de conversation cliquée au centre. Les principales sont :

    • La date-heure,

    • La canal d'entrée (site Web, Facebook, Teams, etc.)

    • Le type de message :
      Chaque message bot ou utilisateur est affecté d'un type de message lors de l'enregistrement de l'historique. Ceci permet de filtrer des conversations particulières. Se référer au chapitre Filtrer par classification.

      Par exemple : filtrer toutes les conversations qui comportent de l'incompréhension du bot afin d'identifier les questions utilisateurs qui n'ont pas obtenues de réponse et pouvoir enrichir ainsi la base de connaissances du bot.

    • La note de la question retenue : 0,95 dans la capture ci-dessous.

Une barre de recherche, filtres et boutons d'actions sont proposés en haut de page :



Filtrer et trier

Filtrer par période

Le superviseur de messages vous présente par défaut toutes les conversations des 7 derniers jours, de la plus récente à la plus ancienne.

Cette période peut-être modifiée en cliquant dessus pour sélectionner une des périodes proposées (Aujourd'hui, Hier, etc.) :



ou définir une période personnalisée par le biais du calendrier :



Filtrer via la zone Recherche

La zone Recherche peut être utilisée pour filtrer sur :

  • un compte utilisateur précis (si une authentification est mise en place)
  • une chaine de caractères (phrase complète, extrait de phase ou mots clés)
  • un ID de conversation, issu d'un export.

Appuyer sur la touche Entrée pour valider le filtre.

Filtrer par classification

Il est possible de filtrer les conversations selon un ou plusieurs types de messages :



Tris et autres filtres

D'autres filtres et tris sont accessibles en cliquant sur la flèche à droite du bouton Filtres :



Les conversations ouvertes mais sans réelle interaction utilisateur-bot peuvent être masquées en décochant la case Afficher les conversations courtes ou vides.

Enrichir la FAQ depuis le superviseur

Si vous êtes autorisé à créer ou modifier des FAQ, lorsque vous cliquerez sur une bulle "Message utilisateur" dans la partie centrale, le bouton Vérifier l'existence d'une question apparaitra dans la partie "Informations techniques" à droite de l'écran :




Ce bouton vous redirige vers une popup de recherche de Smart FAQ dans laquelle la zone de recherche est alimentée par le message utilisateur sélectionné dans la conversation :

  • Soit la réponse à la question utilisateur (bandeau bleu en haut de la popup) existe déjà en base mais les questions associées ne comportent pas ce type de question ou cette formulation. Dans ce cas, on va rattacher la question de l'utilisateur à cette FAQ existante par le bouton Rattacher la question

  • Soit aucun résultat satisfaisant n'est trouvé et on opte pour la création d'une nouvelle FAQ par le bouton Créer une nouvelle Smart FAQ



Cette fonction permet d'enrichir rapidement la Smart FAQ sans quitter le superviseur et s'avère intéressante lorsqu'on analyse à l'écran les incompréhensions du bot et les choix multiples qui nous semblent éloignés de la question de l'utilisateur.

Exporter

Filtres d'extraction

Il est possible d'exporter l'historique des conversations pour analyser ces données en détail sous Excel et faire son propre tableau de bord d'activité.

L'export se fait par le bouton Exporter situé à gauche en haut de page.

Il vous redirige vers une page de filtres indépendants des filtres appliqués sur le superviseur. Trois filtres sont proposés :



Si aucune hiérarchie d'Unités Organisationnelles (UO) n'est en place, tous les utilisateurs sont rattachés automatiquement à l'UO "Global", créée par défaut, comme sur la capture ci-dessus.
Vous référer à la fonction Unités organisationnelles pour plus de détails.

Cliquer sur la case Tout exporter pour extraire tout l'historique qui existe en base pour l'UO sélectionnée :



Fichier exporté

Format du fichier

Le fichier CSV obtenu comporte les colonnes suivantes :

  • Identifiant de conversation
  • Utilisateur
    • l'utilisateur "bot" est affecté aux messages du bot
    • les messages utilisateurs sont associés soit à un compte utilisateur si celui-ci est identifié, soit un identifiant aléatoire si le bot est public.
  • Date/heure
  • Message
  • Réponse au message
  • Type
    • On retrouve dans cette colonne les types présents dans le filtre "Classification des conversations" du superviseur de messages, mais en anglais.
  • Catégorie / Sous-catégorie / Tags
    • Thématiques associées à la question retenue par le bot au moment de la conversation.
  • Note
    • Score de confiance du bot pour la question retenue
  • Adresse IP
  • Canal d'entrée (URL du site, Facebook, etc.)

Exemple d'une conversation extraite pour un utilisateur identifié :

  • Pour un même message "Utilisateur", le fichier peut lister plusieurs messages du bot (exemple en lignes 4 et 5)

Exploitation du fichier

Chaque ligne du fichier est associé à un type de message qui permet de n'afficher que les messages bot ou utilisateur à analyser.

Axe de travail n°1 - Extraire les questions non répondues par le bot

L'export CSV permet très facilement de disposer de la liste des questions non répondues par le bot :

  • Ouvrir le fichier sous Excel
  • Menu "Données" puis outil "Filtrer"
  • Filtrer la colonne "Type" sur la valeur "NotUnderstood"
  • La colonne "Réponse au message" comporte les questions des utilisateurs pour lesquelles le bot a répondu le message d'incompréhension comme "Désolé, je n'ai pas compris" dans l'exemple ci-dessous :


Axe de travail n°2 - Analyser les choix multiples

Cette analyse a pour objectif de vérifier si les choix multiples ne sont pas trop nombreux par rapport aux réponses directes et mesurer leur pertinence : les questions proposées sont-elles bien en rapport avec la demande intiale ?

Plusieurs types de messages sont concernés dans le traitement des choix multiples :

  • UserMessage : question posée par un utilisateur

  • Intro_ReplyMultipleFaq : phrase d'introduction du choix multiple proposé par le bot.
    Exemple "Choisissez la question la plus adaptée :"

  • ReplyMultipleFaq : liste des questions proposées

    L'utilisateur peut alors :

    • répondre "Aucun choix" :
      • Cette action gènère dans l'historique un message de type "UserMessage" suivi d'un message bot "Pouvez-vous reformuler votre question ?" de type "FAQNoChoiceSelection"

    • ou choisir une question dans la liste proposée :
      • Cette question devient alors un nouveau message utilisateur de type "UserMessage" suivi de la réponse du bot "ReplySingleFaq".

Il faut donc conserver dans l'extraction l'ensemble de ces types de messages pour bien disposer du contexte complet du choix multiple.

Exemple d'une conversation avec un choix multiple :



Extrait de l'export CSV :

  • Cas 1 - L'utilisateur choisit la 2ème question dans le choix multiple



  • Cas 2 - L'utilisateur clique sur "Aucun choix" :