Société Générale prépare ses premiers cas d’usage d’IA générative

Société Générale a identifié plusieurs cas d’usage précurseurs avec l’IA générative qu’elle teste actuellement. Le cas d’usage qui suscite le plus d’optimisme est la recherche d’information dans des documents et la synthèse d’informations. Pour cela, la banque évalue en interne plusieurs grands modèles de langage (LLM ou Large Language Model). C’est ce que décrit Etienne Guibout, AI Data Leader chez Société Générale. Il est intervenu à l’occasion de l’événement Every Day AI de Dataiku, le 16 novembre et a répondu aux questions de La Revue du Digital.

L’IA générative est une nouvelle étape pour aller chercher plus de valeur

Etienne Guibout identifie quatre types d’usage de l’IA générative parmi lesquels la banque a choisi les cas précurseurs testés. Il y a d’abord les experts virtuels, ce sont des agents capables d’accompagner le collaborateur pour faire des travaux d’expert. Donc, ce type d’agent va aller chercher des informations dans un document, dans un corpus de documents, faire des synthèses. Autre domaine d’action, on trouve la génération de contenus, du contenu marketing et des comptes rendus de réunion. Il y a ensuite l’engagement client et le conversationnel. « Cela peut être le client externe ou nos collaborateurs. Il s’agit d’interagir et d’apporter des réponses à des questions qu’ils pourraient poser » précise-t-il. Et, il y a la génération de code informatique, la génération de documentation et la traduction de code.

Il rappelle la fluidité de l’expérience utilisateur découverte avec ChatGPT et qui a séduit tous les utilisateurs. « L’expérience utilisateur de ChatGPT est redoutable. On l’a tous vécu. Le côté conversationnel fait que l’on adopte la technologie » poursuit le responsable. Autre atout, l’aspect générique de la technologie. « On peut couvrir des sujets quand on a envie de faire une synthèse de documents, le modèle fonctionne pour différentes natures de documents. C’est assez impressionnant et donc utile » dit-il. Les premiers bénéfices devraient être trouvés dans l’efficacité opérationnelle de la banque. « Nous considérons que l’IA générative va apporter beaucoup sur l’aspect de l’efficacité opérationnelle. La valeur se situe plutôt au niveau de l’efficacité opérationnelle » insiste-t-il.

Société Générale veut créer plus de valeur grâce à l’IA générative. « L’IA générative est plus une nouvelle étape pour aller chercher plus de valeur qu’un shift [un changement] technologique » dit-il. Il précise la différence entre l’IA générative et l’IA traditionnelle. «  En ce qui concerne l’IA générative, ce sont des modèles qui sont pour la plupart déjà entrainés et déjà utilisables » débute-t-il. La capacité de l’IA générative à traiter les documents est clé. « L’IA générative traite des données non structurées, des documents. La banque est une industrie dématérialisée qui s’appuie sur beaucoup de données et de documents. On faisait des choses avant l’IA générative. L’IA générative nous permet d’aller un niveau plus loin, d’accélérer sur le traitement de cette donnée non structurée » annonce Etienne Guibout.

La banque veut réaliser des cas d’usage de l’IA générative

L’idée est de réaliser des cas d’usages. Sur les quatre catégories citées, la banque en a identifié plus d’une centaine. Elle priorise ces cas d’usage. Elle essaie d’identifier la valeur à tirer de ces cas d’usage et de se projeter à l’échelle, non pas uniquement pour une entité mais sur un potentiel global. Elle va identifier aussi les freins en termes de faisabilité en examinant ce qui empêche aujourd’hui d’avancer, si les bonnes données sont disponibles et si ces données sont de qualité. L’analyse des cas d’usage tient compte également des sujets liés aux risques, à la responsabilité, à la transparence, aux risques spécifiques, aux risques juridiques, à la propriété intellectuelle et aux hallucinations. « Nous allons prendre en compte ces éléments. Et par un jeu de tamis, on va prendre notre centaine de cas d’usage, et on va arriver sur 40 cas d’usage » présente-t-il.

A partir des quatre catégories de cas d’usage, la banque identifie les cas d’usage qui sont les plus intéressants à développer dans un premier temps, parce que les équipes sont prêtes, parce que le cas est vraiment représentatif d’un cluster beaucoup plus global. « Nous avons identifié pour chacune des catégories, ce que l’on a appelé 1 ou plusieurs cas précurseurs, il y en a un peu moins d’une dizaine » déclare Etienne Guibout. C’est sur ces cas là que la banque commence à travailler pour tester la capacité de la technologie à répondre au besoin. « L’optique est de créer un blueprint [un plan], c’est-à-dire une capacité qui permette d’accélérer et d’être mis à disposition des différentes entités qui auraient un cas relativement similaire » commente-t-il.

Le cas d’usage qui lui inspire le plus d’optimisme consiste à aider, à « augmenter » le collaborateur dans son travail quotidien, « pour rechercher des informations dans un document, échanger sur le document, par exemple faire des synthèses, des analyses » détaille-t-il. « C’est un cas qui est relativement simple et qui peut s’appliquer à l’ensemble de la banque avec un potentiel de valeur en termes d’efficacité qui est assez impressionnant » pense-t-il. A noter que les huit cas d’usage sélectionnés par Société Générale et désignés comme étant précurseurs ne font pas face à un risque trop important d’« hallucinations ». Les « hallucinations » sont des contenus créés par l’IA générative qui semblent crédibles mais sont totalement faux.

Les hallucinations font partie des modèles d’IA générative

Etienne Guibout souligne que les modèles de LLM « hallucinent » par création. Peut-on supprimer les hallucinations ?  « On peut les réduire à leur portion congrue, et mettre en place des garde fous, mais on n’atteindra jamais le 100% » réagit-il. « Il faut en être conscient. Je dis cela aujourd’hui, et peut être que dans deux mois, il y aura des nouvelles techniques, mais l’hallucination est inhérente à l’IA générative »  ajoute-t-il. Le degré de validité des réponses semble toutefois élevé aujourd’hui. « On est de l’ordre de 99,XX % dans les réponses aujourd’hui » dit-il. Il reconnaît qu’il faut mettre en face des gardes fous supplémentaires afin de savoir quels risques sont pris.

« A la question à quel moment nous allons accepter de mettre cette technologie complètement automatisée face à un client ou à une décision, la réponse est que aujourd’hui c’est très compliqué »  analyse-t-il. « On estime qu’il n’y a pas ce cas où le risque est trop important sur nos huit cas précurseurs » souligne-t-il. Société Générale développe une plateforme interne afin d’évaluer les LLM. La banque associe des processeurs GPU, la plateforme de Dataiku afin d’accéder aux différents modèles de LLM et teste des modèles Open source. « Les Data scientists ou les développeurs métiers n’ont pas envie de construire cette plateforme ni de l’opérer. Elle n’a pas de valeur métier en tant que tel.  Il faut qu’elle soit faite avec les meilleures solutions, les meilleurs enablers technologiques du marché qu’ils soient Open source ou commerciaux et payants. Il s’agit de centralisation »  présente Sébastien Brasseur, Distinguished Engineer chez Société Générale, présent aux côtés d’Etienne Guibout.

Cette plateforme doit aider à coller aux évolutions rapides du secteur des LLM. « Cet univers évolue très vite, avec des nouveaux LLM qui sortent toutes les semaines si ce n’est tous les jours. Il faut une architecture suffisamment découplée pour être capable d’intégrer des nouveaux modèles au fil de l’eau, afin de brancher et débrancher sans que cela soit très pénible dans le temps » explique Sébastien Brasseur.

La plateforme doit répondre aux exigences des réglementations

Les enjeux réglementaires doivent également être traités. « On doit être responsable par design [dès la conception], car la réglementation va nous imposer de fournir des notions de transparence de modèle, d’explicabilité des prompts, de traçabilité, d’auditabilité, et cela c’est clé à prendre en compte dans la plateforme » ajoute-t-il. Il rappelle au passage qu’il ne faut pas restreindre l’IA générative au conversationnel. « Quand on dit IA générative, tout le monde pense ChatGPT et scénario conversationnel, mais c’est une partie seulement des cas d’usage qui peuvent exploiter l’IA générative et les LLM » relève-t-il. « Il faut dissocier ce cas d’usage spécifique de la construction d’une plateforme sous jacente qui doit servir des cas d’usage beaucoup plus larges que le conversationnel » termine-t-il.

La banque fait face à des contraintes réglementaires propres, avec des sujets très sensibles qu’elle ne souhaite sortir de son enceinte. « Nous avons à la fois des modèles que l’on héberge chez nous, des modèles Open Source et un certain nombre que l’on est en train de tester aujourd’hui » précise Etienne Guibout. « Nous avons quatre modèles principalement en test, Llama de Meta, Falcon et platypus, etc. On sait très bien que les stars d’aujourd’hui ne seront pas forcément les stars de demain » commente l’AI Data Leader. La solution de Mistral est également considérée.

Société Générale dispose de quelques processeurs GPU pour ses tests. « Nous avons quelques GPU chez nous. C’est une ressource très rare, donc effectivement aujourd’hui on cherche à en avoir plus. Tout à fait honnêtement, on regarde les pilotes, la ressource que cela nous prend et après on calibrera » réagit Etienne Guibout. « On en a suffisamment aujourd’hui pour avancer. L’IA est un chemin venteux. On teste avec les pilotes, les cas d’usage précurseurs et après on verra aussi. Ce sont des technologies qui sont tellement nouvelles, que l’on apprend en marchant donc lorsque l’on annoncera que l’on est en production à large échelle, les solutions que l’on aura poussées fonctionneront vraiment bien » affirme-t-il.

Société Générale veut arriver à déployer ses cas d’usage précurseurs

Quelles sont les prochaines étapes pour Société Générale ?  « D’un point de vue métier, c’est d’arriver à déployer sur la base des cas précurseurs que j’évoquais, d’arriver à déployer la technologie à l’échelle » répond Etienne Guibout. Il défend pour cela la démarche d’avancer groupés, en s’appuyant sur les expertises au sein du groupe. « Il y aussi la projection de l’impact de ces technologies à moyen et à long terme. Arriver à imaginer ce que sera la banque avec cette technologie qui sera déployée partout. D’un point de vue métier, c’est les grands enjeux » dit-il.

Les quatre catégories de cas d’usage identifiées chez Société Générale devraient transformer certaines fonctions dans la banque avec cette technologie. Pour le code, c’est toute la population des ingénieurs logiciels et des développeurs. Les agents conversationnels vont impacter les employés qui sont en relation avec les clients. La génération de contenus aura un effet sur le marketing et la vente. Et les experts virtuels toucheront les directions centrales de la banque, risques, conformité et juridique. Afin d’amener cette nouvelle technologie en production, il estime que la première chose fondamentale est l’acculturation. Il faut faire toucher du doigt à l’ensemble des équipes y compris les comités exécutifs le potentiel de la technologie et également ses limites dans un environnement bancaire, donc très régulé. « Faire en sorte que les employés se projettent dans ce que peut leur apporter cette technologie » résume-t-il.

Sébastien Brasseur, pour sa part, se montre préoccupé par l’enjeu de la scalabilité, la montée en charge de la plateforme d’IA générative au fur et à mesure que la banque va passer de 4 cas d’usage, à 8, 12, 20, etc. cas d’usage. « Et il y a l’acculturation et les compétences des développeurs et des Data Scientists qui vont venir devoir consommer ces IA génératives à travers notre plateforme » dit-il. « Il faut faire du stress test en amont sur les APIs que l’on met à disposition afin que la plateforme ne s’écroule pas. Il faut accompagner les utilisateurs » termine-t-il.

Pilotage des cas d’usage d’IA traditionnelle par la valeur créée

Pour rappel, Société Générale a commencé à déployer des cas d’usage de Machine Learning (apprentissage automatique) en production, il y a un petit peu moins de dix ans. Progressivement, la banque a industrialisé ces IA. « Nous avons été la première banque européenne je crois, à piloter nos initiatives de Machine Learning et d’IA par la valeur. On est passé d’un stock de cas d’usage à une valeur attendue de ces cas d’usage » explique Etienne Guibout. L’ambition est d’atteindre 500 millions d’euros de valeur générée par ses cas d’usage IA data à horizon 2026.

La stratégie business de Société Générale est d’intégrer l’IA au cœur de la transformation de ses différents métiers. « Dans notre portefeuille de cas d’usage, nous avons des cas qui vont traiter plutôt du risque opérationnel et de l’efficacité. Ce sont des cas plutôt défensifs, et également des cas qui vont traiter de l’amélioration de la relation client, et de la génération du nouveau business. Je pense que nous avons tous à peu près les mêmes cas d’usage » détaille-t-il.  Comme exemples, sur la banque, il s’agit d’initiatives pour identifier les cas de fraude sur les paiements en temps réel grâce à du Machine Learning, et identifier des patterns, ou sur les émissions obligataires d’arriver à ajuster les différents paramètres, pour optimiser ces émissions, là aussi en se basant sur les données du passé, conclut-il.