La banque LCL résout pas à pas les multiples obstacles à l’IA générative

Didier Lelouche, pôle intelligence artificielle, LCL

La banque LCL met une IA générative au service de ses conseillers bancaires. Cette application est modeste en apparence. Sa mise en œuvre révèle en fait toutes les difficultés qui se posent lors de l’usage de l’IA générative dans une entreprise extrêmement réglementée.

L’IA générative aide à rédiger les mails de réponses aux clients

L’application d’IA générative dénommée Aria aide les conseillers à rédiger leurs mails de réponse aux clients. Elle fait gagner du temps et allège la charge mentale des conseillers. Cet argument d’allégement de la charge mentale a beaucoup été utilisé en interne et cela fait partie des retours positifs des conseillers.

LCL veut traiter plus rapidement ses 22 millions d’emails annuels tout en améliorant la satisfaction client

Le traitement des mails est un enjeu important pour LCL car la banque a reçu 22 millions de mails en 2023 et reçoit 1 million de mails supplémentaire chaque année. Cela prend beaucoup de temps pour y répondre. La banque, filiale du groupe Crédit Agricole se fixe comme objectif d’être le numéro 1 de la satisfaction client et travaille beaucoup sur ces aspects face à la concurrence des néo banques. Cela passe par répondre rapidement aux clients et être présent auprès d’eux. Elle gère 6 millions de clients en France, principalement dans les grandes villes.


LCL s’est jeté à l’eau avec l’application d’IA générative Aria en se disant qu’il fallait mettre en place concrètement l’IA générative au service des clients et des conseillers. La banque voulait se faire la main rapidement sur un premier cas d’usage. LCL n’a donc pas réalisé de business case. « Nous voulions aller vite. Nous voulions mettre un outil à disposition rapidement » résume Didier Lelouche. Il est responsable du pôle intelligence artificielle chez LCL. L’équipe IA de LCL existe depuis 2018. Il a pris la parole le 14 mai sur la scène du Google Cloud Summit 2024 à Paris.


Il faut se lancer pour apprendre

Pour cette application, il n’y a pas eu d’analyse détaillée du marché, ni d’appel d’offres car le secteur évolue très rapidement, justifie LCL. « Il faut se lancer, cela ne sert à rien de regarder, d’analyser, de faire des tests dans tous les coins. Il y a un moment où il faut identifier un cas d’usage simple pour se faire la main, pas forcément qui a le meilleur ROI » recommande-t-il. Inutile d’attendre la nouvelle version de LLM qui est meilleure que la précédente car il en sort toutes les semaines. « On a le droit à l’erreur » rappelle-t-il car il encourage vivement les entreprises à se lancer.

« On voulait surtout amener de la valeur en acculturant les conseillers en leur permettant d’utiliser la notion de prompt »

Le projet a débuté en mai 2023. Il a fallu convaincre le Comex et les conseillers pour cette application. L’enjeu principal de la première version d’Aria n’est pas technique. Il est réglementaire, de sécurité et de gestion du changement. Et Aria permet aux conseillers de se former à l’écriture de « prompts ». « N’importe quel LLM est capable de faire une réponse à un mail. On voulait surtout amener de la valeur en acculturant les conseillers parce que cela leur permettait d’utiliser pour la première fois la notion de prompt, d’instructions, et cela n’est pas aussi intuitif que cela » décrit explique Didier Lelouche.

Donner de bonnes instructions à une IA, cela s’apprend. « Quand on n’a pas l’habitude, cela ne marche pas forcément bien. Cela a été les premiers retours lors des pilotes » De plus, le groupe Crédit Agricole avait pris la décision pour des raisons de sécurité de fermer ChatGPT et ses assimilés, il n’y avait aucun moyen d’acculturer les conseillers à ces usages.

Une application conçue dans le Cloud de Google

Désormais, lorsqu’un conseiller reçoit un mail, il le lit et écrit ses consignes de réponse à l’IA en lui disant « réponds en disant ceci ou en disant cela » dans une fenêtre ouverte sous le mail. Cette IA générative a été baptisée Aria chez LCL. Elle a été conçue sur la plateforme Google Cloud.

LCL annonce que 9100 conseillers utilisent l’outil Aria quasiment tous les jours sur ses 12 000 conseillers

La solution rédige alors le texte du mail qui est soumis à l’accord du conseiller qui peut le modifier ou redemander une écriture ou ne pas l’utiliser. Il reste maître de ses choix. Côté LCL, on annonce que 9100 conseillers utilisent cet outil quasiment tous les jours sur les 12 000 conseillers de la banque, sur tout le territoire national depuis à peu près trois mois. Le projet avait débuté par un pilote auprès de 900 conseillers fin 2023. Il est passé en production générale sur l’ensemble des conseillers le 26 mars 2024.

Les retours des conseillers bancaires sont positifs : « Je n’ai plus à me casser la tête pour répondre aux réclamations. Aria s’occupe de la formulation » ou « ça va plus vite. Aria propose une réponse structurée, sans faute d’orthographe ou de syntaxe ». Côté résultats, 1 mail sur 3 est envoyé avec l’utilisation de l’outil Aria. Du 26 mars au 6 mai, il y a eu 650 000 réponses générées par Aria. La rédaction d’un mail prend en moyenne 1,3 seconde. LCL est plutôt satisfait de ces résultats.

Allégement de la charge mentale des conseillers

A ce stade, le but du projet est d’aider les conseillers de LCL, surtout les jeunes générations, dans la rédaction car ils peuvent être mal à l’aise dans l’écriture de mails et les tournures de style à employer. Cela allège ainsi leur « charge mentale » face à leurs boîtes mail remplies le lundi matin. Côté technique, l’intégration de l’IA générative s’est faite dans la messagerie sécurisée de LCL développée par la société Worldline qui est intervenue pour cette adaptation logicielle.

Il y a eu des critiques car la rédaction de mail ne semblait pas une tâche qui nécessitait d’être automatisée

Les conseillers gagnent énormément de temps avec cet outil, déclare le responsable. Maintenant quand un conseiller va voir son manager c’est pour parler du fond et non de la forme du mail à envoyer au client. Lorsque le projet a été lancé, LCL ne savait pas si l’outil allait être utilisé. L’équipe IA a été critiquée car la rédaction de mail ne semblait pas une tâche qui nécessitait d’être automatisée par une IA générative.

Une conseillère bancaire qui a fait des études littéraires était très réticente car elle maîtrise totalement la rédaction de mail. Mais elle a été convaincue de l’intérêt de l’outil au bout de quelques essais. Le Comex lui aussi doutait mais a fini par être convaincu. « Les conseillers savent écrire, mais c’est quand même une aide importante au quotidien quand on veut répondre plus vite au client, gagner du temps commercial pour être plus présent avec le client, même si c’est 30 secondes ou 1 min par mail » souligne Didier Lelouche.

Dicter oralement ses consignes à l’IA générative

La prochaine étape vise à intégrer une interface vocale à l’outil d’IA générative afin que les conseillers puissent dicter leurs consignes à l’IA pour la rédaction du mail de réponse. Un test pilote de cette fonction est prévu pour juillet 2024. Cette évolution devrait en outre aider l’IA à disposer de consignes plus élaborées pour rédiger le mail de réponse.

Des conseillers ont eu tendance à être très succincts lorsqu’ils donnent leurs consignes

En effet, des conseillers ont eu tendance à être un peu trop succincts lorsqu’ils donnent leurs consignes, un peu comme lorsque l’on tape quelques mots dans le moteur de recherche de Google. L’IA générative rédige alors un mail qui est mal adapté à ce que souhaite réellement le conseiller. Par exemple, pour répondre à un client qui souhaite qu’on lui envoie son chéquier par courrier, le conseiller écrivait comme consigne : « envoi frais ».

Ce qui est un peu court pour que l’IA parvienne à rédiger un mail ad hoc, ce qui amenait le conseiller à déclarer qu’elle ne marche pas. En dictant vocalement ses consignes, le conseiller aura plus tendance à faire une phrase, pense-t-on côté LCL.

Connexion aux bases de données documentaires internes

L’évolution suivante est de connecter l’IA générative aux bases de données documentaires de la banque afin que l’IA puisse répondre par exemple sur le tarif d’une carte bancaire Premier ou le taux d’un crédit immobilier sur 20 ans. Cela est prévu au 3ème trimestre 2024. C’est un fonctionnement de type RAG qui est prévu, c’est-à-dire qu’il est possible de remonter au document d’origine qui a amené la réponse de l’IA générative. Cela concerne 10 000 pages de procédures qui existent à la banque dans sa base principale.

« On a été bluffés par la capacité de Gemini à interpréter des tableaux »

LCL apprend en marchant. Il y a encore quelques jours, la connexion aux bases de connaissances butait sur le fait que de nombreuses informations internes de la banque sont présentées sous la forme de tableaux ou de diagrammes. C’est difficilement interprétable par un LLM et cela constituait un blocage. Mais un test mené avec Gemini, il y a 3 semaines, a montré les progrès réalisés par Google. « On a été bluffés par la capacité à interpréter des tableaux » pointe le responsable.

L’IA est désormais capable d’interpréter les données en tableau. « La technologie va tellement vite que l’on arrive régulièrement à être débloqués » se réjouit Didier Lelouche. Lors des tests, LCL a observé quelques cas d’hallucinations de l’IA, c’est-à-dire des réponses qui ont l’air vraies mais qui sont fausses. «  Cela reste très mesuré. On est phase de test avec les métiers pour nous assurer que les réponses sont bonnes dans un nombre suffisant de cas » réagit le responsable.

Travail en cours sur la qualité des réponses

« L’important est de savoir si les réponses vraies sont de l’ordre de 50% ou 95%. On est plus près de 95%. Cela montre que l’on a déjà de très bonnes performances. On essaie d’aller chercher les quelques points qui nous manquent parce qu’il faut que l’information soit précise. On ne peut pas donner une mauvaise information à un conseiller » dit-il. Cette application est prévue pour le 3ème ou 4ème trimestre 2024.

Google a dû s’engager à ne pas réutiliser les données de LCL pour de l’apprentissage

Il faut surtout insister sur les aspects de sécurité. Mettre en place une IA générative à l’échelle d’une banque n’a pas été simple. Google a dû s’engager par contrat à ne pas réutiliser les données de LCL pour de l’apprentissage. « On nous a posé la question je ne sais combien de fois en interne. Il a fallu montrer patte blanche sinon on n’y arrivait pas » se souvient le responsable.

LCL fait partie du groupe Crédit Agricole qui a décidé dans sa stratégie IA de ne pas connecter les informations des comptes clients et des profils clients au Cloud. Il est dès lors exclu que l’IA de rédaction de mail puisse enrichir la réponse avec des données spécifiques au client. De même, pour des raisons de sécurité, LCL ne procède pas à l’entraînement de l’algorithme d’Aria.

Transit des données des mails via l’API de Google

Les données communiquées par le client dans son mail et le prompt du conseiller ne sont envoyés qu’en transit chez Google pour l’application de l’API du LLM à la demande des instances de régulation de LCL. Ces informations ne sont pas conservées. Il n’y a donc pas de possibilité d’améliorer le modèle ni de réaliser du « fine tuning » à partir des données traitées.

Sur les 11 mois du projet Aria, il y a eu 9 mois d’analyse de risques et de dialogue avec les instances représentatives du personnel

LCL a du s’attacher à résoudre les enjeux de sécurité et de protection des données des clients. Sur les 11 mois pris pour développer le projet Aria, il y a eu 9 mois d’analyse de risques et de la sécurité et de dialogue avec les instances représentatives du personnel, contre seulement 2 mois de travail côté technique et mise en œuvre. Les représentants du personnel souhaitaient qu’il soit garanti que des emplois n’allaient pas être supprimés. Il a fallu passer beaucoup de temps pour convaincre que l’IA est là pour les aider et non les remplacer.

Une solution sur site a été étudiée car la banque est un secteur très réglementé et que LCL n’avait pas de certitude de pouvoir utiliser une solution dans le Cloud. Mais le constat de LCL a été qu’il fallait la puissance du Cloud car cela ne fonctionnait pas on-premise et parce que les temps de réponse devaient être brefs. LCL s’est tourné vers Google en qui il a confiance car il travaille déjà avec la firme.

Migration de Palm V2 vers Gemini de Google

En mai 2023, LCL a réalisé le projet Aria avec l’IA Palm V2 de Google. « Cela fonctionne très bien pour rédiger un mail » commente Didier Lelouche. Il est en train de migrer afin d’utiliser l’IA Gemini de Google « qui marche encore mieux ».

« Avec Palm V2 et avec Gemini encore plus, on a déjà une très bonne qualité de réponse »

Une couche d’abstraction a été mise en place chez LCL afin de pouvoir ainsi basculer d’un LLM à un autre. « Globalement, cela se fait très vite et très bien » moyennant un peu de développement logiciel. Côté compréhension du mail du client par l’IA, « avec Palm V2 et avec Gemini encore plus, on a déjà une très bonne qualité de réponse, c’est-à-dire que malgré des mails parfois à la limite du compréhensible, on arrive à avoir des réponses qui sont tout à fait pertinentes » établit le responsable.

En ce qui concerne le coût de l’IA générative Aria, il est considéré comme très raisonnable par LCL. Le paiement de l’IA générative se fait à l’usage, lié aux tokens. Pour traiter 16 millions de mails par an, hypothèse faite par LCL, le coût est estimé entre 20 000 et 30 000 € par an. LCL n’a pas procédé à un calcul de retour sur investissement de l’application Aria en se basant sur le temps gagné lors de la rédaction car la banque estime  que ce n’est la bonne approche.

Un ton officiel de communication de LCL implanté dans l’IA générative

Enfin, pour le ton employé dans la réponse rédigée par Aria, LCL a défini une tonalité propre à la banque pour une même communication au niveau national, « a tone of voice ». Le service communication de LCL est intervenu afin de valider ce « tone of voice ».

Ceci dit, le conseiller a le dernier mot dans le mail qu’il envoie et il peut très bien par exemple tutoyer son client alors que le mail utilise le vous. A noter que l’outil Aria a été configuré pour ne répondre qu’en français alors qu’il comprend une centaine de langues mais il était hors de question pour la banque que les conseillers envoient des mails rédigés par l’IA dans une langue qu’ils ne comprennent pas.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *