BNP Paribas se prépare à entraîner ses propres modèles de LLM

Le poids lourd bancaire BNP Paribas met à disposition de ses métiers une plateforme de LLM as a Service pour accélérer l’industrialisation de ses cas d’usage d’IA générative.

Accès aux modèles de langages en interne

Les entités du groupe pourront accéder de manière unifiée et sécurisée à des modèles de langage à grande échelle (Large Language Model – LLM) dans un environnement sécurisé au sein de ses propres infrastructures.

L’objectif est de mutualiser l’infrastructure et de ne pas éparpiller les initiatives dans le groupe, ce qui aboutirait à un mauvais usage des ressources.  L’infrastructure est opérée par les équipes IT sous le pilotage du DSI du groupe, et le but est d’accélérer le développement de cas d’usage d’intelligence artificielle générative pour les employés et les clients.

BNP Paribas dispose de ses propres processeurs Nvidia et a choisi Mistral comme fournisseur de modèles de langages tout en travaillant également avec des modèles Open Source comme LLama.

Des petits modèles de langage avec Mistral

Le recours à Mistral vise en particulier à disposer de petits modèles de langages qui peuvent être spécialisés et centrés sur un usage. Un objectif est alors d’obtenir des résultats plus fiables et de réduire les hallucinations. L’IA générative même si elle peut se tromper dans ce qu’elle délivre, est considérée comme un facilitateur et un accélérateur. Un des objectifs est que son usage puisse faciliter le processus d’on-boarding et de KYC (Know Your Customer).

Les données et l’IA sont des leviers structurants dans la stratégie technologique du groupe BNP Paribas. La banque veut renforcer la personnalisation de l’expérience client et sa performance opérationnelle. La plateforme interne de LLM as a Service permet à chaque entité du groupe d’accéder, via une interface standardisée et sécurisée, à une sélection de modèles de langages (LLM) adaptés à ses besoins. Ces modèles peuvent être directement intégrés dans des outils ou des processus.

La plateforme repose sur une infrastructure mutualisée hébergée dans les Data Centers du groupe, dotée de capacités de calcul spécialisées (GPU) de Nvidia. Elle donne accès à une sélection de modèles Open source, des modèles de Mistral AI, partenaire du groupe, et la banque veut prochainement entraîner ses propres modèles sur des corpus internes, selon les besoins spécifiques.

Ne pas gaspiller les ressources de calcul

BNP Paribas procède ainsi afin de disposer d’une puissance de traitement élevée pour exécuter efficacement les modèles de langage, tout en mutualisant et en limitant les coûts. La démarche mise en place vise à garantir un déploiement sécurisé de l’IA générative au sein des infrastructures du groupe, dans le respect des exigences réglementaires de confidentialité des données.

« LLM as a Service est un socle technologique commun qui permet aux entités de se concentrer sur les cas d’usage métier » précise Marc Camus, Directeur des Systèmes d’Informations de BNP Paribas. « C’est un levier commun pour innover et améliorer la performance de certains usages tout en s’appuyant sur une infrastructure mutualisée et sécurisée » dit-il.

Plusieurs cas d’usage d’IA générative sont en production ou en expérimentation dans les métiers du groupe tels que les assistants internes, la génération de documents, ou la recherche d’information dans des corpus de documents.

Passer à l’échelle sur les cas d’usage

La mise en place de la plateforme doit permettre de passer à l’échelle, en facilitant le déploiement de ces cas d’usage dans un cadre commun et en accélérant la mise en œuvre de nouveaux projets. La plateforme vise à renforcer la capacité des métiers à intégrer rapidement l’IA générative dans leurs processus, avec des standards techniques et de sécurité partagée.

LLM as a service a été déployée dans une première phase de test dans différentes entités du groupe, comme Hello bank! La banque en ligne de BNP Paribas ou chez l’inspection générale du groupe, et a vocation à être progressivement déployée à l’échelle du groupe selon une logique d’industrialisation.

Dans le même temps, l’IA générative permet actuellement aux développeurs logiciels de la banque de créer du code et d’accéder facilement et de manière centralisée aux outils de développement, aux technologies d’IA et aux chaînes DevOps.

Prendre en compte les spécificités locales

LLM as a Service s’appuie sur les retours d’expérience des premières entités du groupe bancaire utilisatrices. Ce service vient compléter les initiatives déjà engagées autour de l’IA générative au sein de BNP Paribas. Ce déploiement progressif doit permettre de prendre en compte les spécificités locales, tout en garantissant un haut niveau de sécurité, de conformité et d’efficacité opérationnelle.

BNP Paribas est un leader européen des services bancaires et financiers. Le groupe est présent dans 64 pays et rassemble 178 000 employés, dont 144 000 en Europe.