Mettre en place l’IA générative : arbitrer son usage selon le prix de l’erreur

Face au flou qui entoure la mise en œuvre concrète des IA génératives, Aldrick Zappellini, Chief Data & AI Officer du groupe Crédit Agricole trace une ligne d’arbitrage. Il s’agit du coût de l’erreur. Combien va coûter une erreur de l’IA à l’entreprise, quel avantage l’IA apporte-t-elle dans le même temps et combien cela coûte-t-il de sécuriser cette IA ?

Tout le monde a en tête les hallucinations des IA génératives

 « J’ai coutume de dire qu’il faut évaluer l’intérêt d’utiliser l’IA générative en fonction du prix de l’erreur » déclare Aldrick Zappellini.  « Si on parle des risques, effectivement, tout le monde a bien en tête les fameuses hallucinations » rappelle-t-il. Il a pris la parole à l’occasion de l’événement InBanque, dont La Revue du Digital est le partenaire presse, le 19 juin à Paris.

« Ce qu’il faut se dire, c’est qu’il n’y a rien de gratuit » dit-il. Il attire l’attention sur le fait qu’une entreprise peut être amenée à vouloir sécuriser une IA au point que cela commence à coûter très cher.  « Ce que vous pensez gagner avec l’IA générative, peut-être qu’en réalité, vous devez mettre en place des systèmes de compensation des risques qui, finalement, au global, vous n’avez peut-être pas l’impression que c’est si rentable que ça » prévient-il.

A l’inverse, quand le risque associé à l’usage d’une IA est faible, cela vaut le coup de l’utiliser. Par exemple, une IA de retranscription du rendez-vous commercial qu’un conseiller bancaire vient d’avoir avec son client s’avère intéressante. Car même si cette IA présente des erreurs de retranscription, elle permet de disposer d’un compte rendu qui peut servir par la suite à une autre IA générative – elle-même sujette à erreurs – pour identifier des opportunités commerciales. Sachant que les conseillers bancaires n’apprécient pas forcément de rédiger un tel compte rendu face à des outils CRM peu pratiques et qu’ils saisissent eux-mêmes des données qui ne sont pas fiables à 100%.

On calibre mieux l’imprécision d’une IA traditionnelle

Le responsable se montre plus rassuré par l’usage d’une IA traditionnelle. « Sur une IA traditionnelle, vous maîtrisez l’imprécision du modèle. Vous pouvez le calibrer. Il y a des cas où le modèle est sûr à 99% de son résultat. Il y a d’autres cas, peut-être 30% des cas, où l’incertitude du modèle fait que vous allez rendre la main à un conseiller pour dire: attention, il faut valider parce qu’il n’y a pas un degré de confiance très élevé dans la réponse » décrit-il. « Cela, vous ne pouvez pas l’avoir avec l’IA générative » dit-il.

Il considère le calcul du pourcentage d’erreur de l’IA comme particulièrement important mais il faut savoir également identifier les résultats qui sont affectés par cette erreur. « Vous pouvez avoir une IA générative pré-entraînée, un très gros modèle qui est précis à 95%, si vous ne savez pas où sont les 5% [d’erreur], c’est très délicat » poursuit-il.

Cela empêche selon lui l’usage de l’IA générative pour dialoguer avec les clients de la banque. « C’est cela qui me gêne, par exemple, sur le fait de dire d’ouvrir [l’IA générative] à la clientèle parce que l’on peut faire beaucoup d’efforts pour contraindre l’assignation. On a déjà réussi à contraindre [l’IA générative] sous des taux [d’erreur] inférieurs à 1%. Le seul problème, c’est qu’on ne sait pas où  sont les 1% [d’erreur] » explique-t-il.

C’est là qu’intervient le prix de l’erreur afin d’évaluer l’intérêt d’utiliser IA générative. Si le taux d’erreur était déjà supérieur à 1% sur ce périmètre, il est possible d’utiliser l’IA générative. En revanche, si on met en œuvre des agents d’IA générative sur une chaîne de paiement, et que le taux d’erreur est de 1%, cela ne sera pas acceptable car le taux d’erreur aujourd’hui, sur une chaîne de paiement bancaire, c’est de une erreur pour un million. « Est-ce que vous acceptez un agent qui s’appuie sur une IA générative, qui fera de l’ordre de 1% d’erreur et donc de multiplier par 100 000 le taux d’erreur. Je ne pense pas » alerte  Aldrick Zappellini.

Réduire les erreurs coûte cher en technologie

Il y a le coût de l’erreur et il y a le coût des technologies pour réduire les erreurs. « Nous avons fait des choses hyper intelligentes, par exemple, pour traiter les emails avec les systèmes d’agents [IA], pour réguler les hallucinations, pour bien encadrer les réponses » présente-t-il. Or tout cela finit par coûter cher. « Enchaîner des IA génératives, cela a un coût, un coût financier, un coût environnemental, et quand on regarde à l’échelle, quand on a 50 millions d’emails à traiter, ce n’est plus si intéressant que ça, finalement, d’utiliser ces capacités-là parce qu’on a dû beaucoup investir pour fiabiliser les risques inhérents à cette forme d’IA et ses limites » pense-t-il.

La banque pèse alors les avantages et les inconvénients en adoptant une vision globale. « C’est intéressant d’utiliser cela. Mais est-ce que réellement, si on doit faire tout ce qu’il faut pour être en confiance, sécurisé, est-ce que cela reste intéressant du point de vue du coût de construction, de l’usage, de l’impact environnemental ? » interroge le responsable. Tous ces paramètres sont à prendre en compte.

Dès lors, Aldrick Zappellini considère à titre personnel que ce n’est pas avec cette forme d’IA générative que l’on va réellement faire une banque conversationnelle. « Aujourd’hui, cette IA traite quand même beaucoup de sujets en force brute, alors même si on progresse beaucoup sur la miniaturisation des modèles, ce qu’on appelle les SLM [Small Language Model], pour autant, c’est quand même fait à la base pour halluciner. C’est-à-dire que c’est une réponse statistiquement représentative, mais ce n’est pas forcément la réalité » déclare-t-il.

L’IA générative inutilisable pour du code solide

Le responsable écarte également l’usage de l’IA générative comme outil fiable pour programmer un code solide pour une banque. Ce type de code génère des alertes dans tous les sens quand il est passé dans les outils de test de la banque. Aldrick Zappellini y voit toutefois une amélioration de la productivité des programmeurs de l’ordre de 5% à 10%. Et surtout, il reconnaît que l’IA générative est un formidable outil pour du prototypage.  

Il faut souligner que la veille de la conférence InBanque, Luc Julia, en charge de l’IA chez Renault, s’exprimait face à une commission du Sénat sur l’IA. Luc Julia connu pour être à l’origine de Siri l’assistant vocal d’Apple, a pointé les faiblesses de l’IA générative en mettant en avant son taux d’erreur élevé.

A 1 h 10 de son intervention, il donne l’exemple de l’écriture d’une biographie de Victor Hugo écrite par ChatGPT. « Sur deux pages, statistiquement, il y a 5 erreurs car on est sur 36% d’erreur. Et donc on ne peut pas faire confiance à ChatGPT. Il faut faire du fact checking avec quelqu’un qui s’y connaît ou aller voir dans une encyclopédie » préconise-t-il pour sa part. Il donne comme exemple une fausse date de naissance de Victor Hugo publiée par ChatGPT.

Il retient d’autre part que 170 POC (Preuves de concept) d’IA génératives ont été mis en œuvre en moyenne par chaque grand groupe du CAC40 entre 2023 et 2024. « C’est beaucoup de POC. Sur beaucoup, on s’est aperçu que cela ne marchait pas et que c’était cher et compliqué. Sur ces POC, il y en a 10 en moyenne qui ont été implémentés. Cela fait 5%, ce qui est pas mal finalement dans l’innovation. Cela veut dire qu’il y en a qui sont mis en œuvre » reconnaît-il.

Stabilisation de l’usage de l’IA générative

Luc Julia considère que l’on est actuellement dans la phase de stabilisation de la courbe d’adoption d’une nouvelle technologie du cabinet Gartner, après le pic du buzz et le creux de la désillusion. En fin de son intervention, il modère son propos sur le taux d’erreur des IA génératives, en indiquant que le taux de pertinence d’une IA générative peut atteindre 98% à 99% si l’on fabrique une IA générative sur un domaine très spécifique.

« Cela ne veut pas dire qu’il ne faudra pas relire, mais que la pertinence sera très bonne et va permettre d’avoir un outil dans lequel je vais avoir confiance parce que je vais y avoir apporté mes propres données » termine-t-il. Ce qui vient confirmer l’analyse de Aldrick Zappellini du Crédit Agricole. Luc Julia conclut en indiquant qu’une IA générative a été mise à disposition dans la R5 et qu’il se félicite qu’elle donne toute satisfaction.

Dans ces usages de l’IA générative, on peut relever deux autres cas. Chez HelloBank, la banque mobile de BNP Paribas, le DG Bertrand Cizeau se montre quant à lui enthousiaste vis-à-vis de l’IA générative comme outil d’assistance aux clients. Lors de la même conférence InBanque du 19 juin, il rappelle qu’HelloBank teste actuellement l’IA générative de Mistral afin de répondre aux questions de 10 000 utilisateurs, qui sont des employés de BNP Paribas et ses clients ambassadeurs, donc des clients plutôt de confiance.

L’assistant en IA générative d’HelloBank n’est pas connecté aux comptes bancaires

Cette IA générative remplace l’assistant chatbot classique précédent et n’est pas connectée aux comptes bancaires des clients. Cela réduit donc les risques et le DG encourage d’autant plus l’usage afin que la banque apprenne en marchant. Il se félicite en particulier de l’empathie dont le nouvel assistant sait faire preuve lorsqu’il s’adresse à un client.

Dernier cas, SNCF Connect, l’entité qui commercialise les billets SNCF, utilise l’IA générative Claude d’Anthropic. Or, il y a encore quelques semaines, cette IA pouvait préconiser une promotion de 50 € venue de nulle part, totalement inventée, à un conseiller de la SNCF intervenant au centre d’appels et interloqué face à cette proposition. Comme quoi les hallucinations sont bien présentes même dans des IA en activité depuis plusieurs mois.