IA générative chez BPCE : le groupe bancaire partenaire de 4 fournisseurs clés face aux enjeux de souveraineté

En matière d’IA générative, le groupe bancaire BPCE (Banque Populaire Caisse d’Epargne) a recours à quatre partenaires clés, Google, OpenAI, Anthropic et Mistral.  L’usage de ces solutions soulève des enjeux de performance, de robustesse, d’adaptabilité, de souveraineté, de sécurité et d’adoption par les équipes de la banque. La réponse de BPCE a été détaillée à l’occasion d’une conférence de presse le 19 novembre.

Des composants techniques modulaires pour l’IA

Les solutions IA déployées en interne sont basées sur des composants technologiques modulaires et réutilisables afin de bénéficier des meilleures technologies du marché. « Nous utilisons une quinzaine de modèles d’IA générative aujourd’hui, ce sont des LLMs, issus de 4 fournisseurs différents » présente Luc Barnaud, Chief AI & Data Officer chez groupe BPCE. « Et il y a l’activation de modules IA directement dans les logiciels métiers de la banque. Cette IA embarquée permet un déploiement rapide et une adoption facilitée pour les utilisateurs » précise-t-il.

La sécurité est clé. « Tous les accès aux ressources IA sont strictement contrôlés et surveillés. La protection de nos données est une priorité absolue »  insiste-t-il. Le déploiement d’IA génératives impose en outre un suivi de leurs performances et de leur robustesse. « L’IA c’est avant tout de la statistique. Donc piloter la performance de bout en bout d’un produit IA nécessite une approche rigoureuse, des tests initiaux, un déploiement progressif, et un suivi constant de la satisfaction des utilisateurs métiers » prévient-il.

Les choix des partenaires technologiques du groupe sont effectués de manière transversale à la banque. « Le développement des assets IA a été centralisé pour être capable de les déployer rapidement dans toutes les IT métiers du groupe facilement » intervient Laurent Fernandez, directeur Tech Expertise & Solutions chez groupe BPCE. Pour cela, l’architecture informatique est hybride. « Il y a des développements internes que l’on installe dans nos Data Centers et il y a l’utilisation de ce que nous proposent nos partenaires Cloud » précise Laurent Fernandez.

Placement des données sensibles dans les Data centers de BPCE

Le positionnement des données dépend de leur criticité. « Par exemple pour le développement de notre plateforme d’orchestration d’agents, nous avons décidé d’installer la base vectorielle qui porte les corpus documentaires de la banque sur nos Data Centers pour ne laisser sortir aucun document à l’extérieur de l’entreprise et d’utiliser les modèles de langages chez nos partenaires Cloud. Par exemple, nous utilisons ceux [les LLMs] d’OpenAI dans notre bulle sécurisée chez Microsoft. Et on utilise trois types de LLMs, ceux de Gemini de Google, d’Anthropic et de Mistral » ajoute-t-il.

« Quand il y a des documents très sensibles, nous avons décidé d’installer un LLM dans nos Data Centers pour ne sortir aucune information » dit-il. Autre enjeu, il y a la nécessité de pouvoir suivre les évolutions rapides des technologies d’IA dont les versions se succèdent à un rythme soutenu. « Nous avons  mis l’accent sur l’adaptabilité car ces toutes ces technologies évoluent rapidement. Pour passer d’un LLM à un autre, il nous suffit de changer une virgule dans un appel de fonction pour aller chercher un autre LLM sur le marché » dit-il.

Alors que BPCE fait appel à des fournisseurs d’IA américains, le groupe entend répondre aux questions en matière de souveraineté. « La souveraineté pour BPCE c’est la garantie que nous restons maîtres de nos données, de nos choix technologiques, et de nos choix stratégiques » édicte Luc Barnaud, Chief AI & Data Officer chez groupe BPCE.  

Formation des experts IA de BPCE en interne

Cela passe par la maîtrise des compétences en interne. « Nous investissons résolument sur la formation et le développement de nos propres experts IA. Et nous nous appuyons sur ces expertises pour co-construire et déployer les solutions IA de nos partenaires ou développer en interne des solutions lorsque nous souhaitons en avoir la pleine maîtrise. C’est un investissement à long terme » explique-t-il.

Côté plateformes, BPCE défend une approche technologique ouverte et hybride. « On travaille avec un écosystème de partenaires diversifié incluant plusieurs fournisseurs de LLMs. On s’appuie sur des ressources du Cloud via des accès sécurisés et sur nos propres serveurs »  présente le responsable. Pour la banque, cette infrastructure interne et souveraine est vue comme essentielle. Elle lui permet de faire tourner en local des modèles d’IA. « Elle nous permet d’héberger notre solution d’agent conversationnel sur base documentaire, on parle de RAG [Retrieval Augmented Generation], et elle nous permet de traiter les données les plus sensibles » déclare Luc Barnaud.

Et, il y a l’ancrage européen. « La souveraineté c’est aussi de travailler avec des acteurs français et européens. Nous utilisons les services de Mistral AI, Dataiku, Giskard , Zaion et bien d’autres. C’est aussi la souveraineté valorisée des solutions Open source qui favorisent l’innovation et la collaboration » indique-t-il. « Et quand nous utilisons des solutions de partenaires extra européens, nous le faisons dans le strict respect des lois françaises et européennes » ajoute-t-il.

Quatre fournisseurs tiers, Google, Anthropic, OpenAI et Mistral

BPCE utilise quatre fournisseurs pour ses modèles d’IA générative, Gemini de Google, Anthropic, Mistral et OpenAI. Cela représente une quinzaine de modèles de langages car chaque fournisseur propose plusieurs modèles. « Ce qui nous intéresse c’est la performance des produits [IA} qui utilise des modèles » dit Luc Barnaud. « Est-ce que les réponses proposées par l’IA sont en lien avec les attentes du métiers ? Les experts IA optimisent le produit et les experts métiers sont les seuls juges de paix pour dire si la réponse est bonne ou pas, satisfaisante ou pas »  tranche-t-il.

BPCE utilise les processeurs GPU pour l’IA de ses partenaires Cloud. Le groupe dispose de sa propre ferme de serveurs sur le réseau avec une quarantaine de GPU. « Quand on fait tourner un modèle interne pour des raisons de confidentialité, on utilise cela. Ce n’est pas une ferme de GPU énorme. Une quarantaine c’est déjà pas mal pour faire tourner les modèles internes » pense-t-il. La banque souhaite pouvoir changer aisément de fournisseur de LLM. « Chez BPCE, on fait tout ce que l’on peut pour être le moins dépendant d’un acteur possible. Le jour où on a la possibilité de faire appel à des LLM ou des SLM qui sont plus souverains ou plus européens, on le fera » considère Yves Tyrode, DG de Digital & Payments, membre du Comité de Direction du groupe BPCE.

L’infrastructure informatique est prévue pour changer aisément de fournisseur. « On a structuré notre architecture pour pouvoir pivoter et brancher nos applications sur des LLMs les plus souverains possibles, européens, quand ils seront disponibles. C’est la caractéristique d’un groupe mutualiste comme BPCE qui travaille sur le temps long » dit-il.

Les équipes juridique, conformité et sécurité veillent

Et quand il s’agit d’employer des solutions américaines, la banque encadre soigneusement son recours à ce type de prestataires. « Nous avons des tenants sécurisés chez Azure et chez Google. Je n’ai le droit d’utiliser que ce qui m’a été autorisé par les équipes juridique, conformité et sécurité du groupe. On ne joue pas les apprentis sorciers. Il y a toute une checklist qu’il faut respecter avant de pouvoir activer un service » précise Luc Barnaud.

Les modèles d’IA employés pourraient être plus spécialisés à l’avenir. « Sur le plus long terme, nous regardons des logiques de LLM plus verticalisés par usage, plus spécifiques et des modèles peut être plus légers, on appelle cela des SLM, on commence à regarder cela. Ce sujet nous semble très important, on est en phase de R&D à ce stade avec un horizon de 12 à 24 mois » présente Yves Tyrode.

Enfin, il y a l’IA pour faciliter le travail des développeurs qui est en cours de déploiement. « Nous avons testé un tas d’outils. Il y a des outils que l’on n’a pas déployés car ils déployaient des agents sur le poste de travail et qu’ils étaient très intrusifs » réagit Luc Barnaud. « Nous avons décidé d’aller chercher un outil Open Source qui s’appelle Continue, que nous avons ‘forké’ et utilisé en interne, pour être capable de distribuer cela sur 1500 collaborateurs aujourd’hui. Et cela va être déployé sur la totalité des développeurs du groupe BPCE » termine-t-il.