Le poids lourd bancaire BNP Paribas met à disposition de ses métiers une plateforme de LLM as a Service pour accélérer l’industrialisation de ses cas d’usage d’IA générative.
Accès aux modèles de langages en interne
Les entités du groupe pourront accéder de manière unifiée et sécurisée à des modèles de langage à grande échelle (Large Language Model – LLM) dans un environnement sécurisé au sein de ses propres infrastructures.
L’infrastructure est opérée par les équipes IT sous le pilotage du DSI du groupe
BNP Paribas dispose de ses propres processeurs Nvidia et a choisi Mistral comme fournisseur de modèles de langages tout en travaillant également avec des modèles Open Source comme LLama.
Des petits modèles de langage avec Mistral
Le recours à Mistral vise en particulier à disposer de petits modèles de langages qui peuvent être spécialisés et centrés sur un usage. Un objectif est alors d’obtenir des résultats plus fiables et de réduire les hallucinations. L’IA générative même si elle peut se tromper dans ce qu’elle délivre, est considérée comme un facilitateur et un accélérateur. Un des objectifs est que son usage puisse faciliter le processus d’on-boarding et de KYC (Know Your Customer).
LLM as a Service permet à chaque entité du groupe d’accéder à une sélection de modèles de langages adaptés à ses besoins
La plateforme repose sur une infrastructure mutualisée hébergée dans les Data Centers du groupe, dotée de capacités de calcul spécialisées (GPU) de Nvidia. Elle donne accès à une sélection de modèles Open source, des modèles de Mistral AI, partenaire du groupe, et la banque veut prochainement entraîner ses propres modèles sur des corpus internes, selon les besoins spécifiques.
Ne pas gaspiller les ressources de calcul
BNP Paribas procède ainsi afin de disposer d’une puissance de traitement élevée pour exécuter efficacement les modèles de langage, tout en mutualisant et en limitant les coûts. La démarche mise en place vise à garantir un déploiement sécurisé de l’IA générative au sein des infrastructures du groupe, dans le respect des exigences réglementaires de confidentialité des données.
“LLM as a Service permet aux entités de se concentrer sur les cas d’usage métier”
Plusieurs cas d’usage d’IA générative sont en production ou en expérimentation dans les métiers du groupe tels que les assistants internes, la génération de documents, ou la recherche d’information dans des corpus de documents.
Passer à l’échelle sur les cas d’usage
La mise en place de la plateforme doit permettre de passer à l’échelle, en facilitant le déploiement de ces cas d’usage dans un cadre commun et en accélérant la mise en œuvre de nouveaux projets. La plateforme vise à renforcer la capacité des métiers à intégrer rapidement l’IA générative dans leurs processus, avec des standards techniques et de sécurité partagée.
LLM as a service a été déployé dans une première phase de test chez Hello bank! et l’inspection générale du groupe
Dans le même temps, l’IA générative permet actuellement aux développeurs logiciels de la banque de créer du code et d’accéder facilement et de manière centralisée aux outils de développement, aux technologies d’IA et aux chaînes DevOps.
Prendre en compte les spécificités locales
LLM as a Service s’appuie sur les retours d’expérience des premières entités du groupe bancaire utilisatrices. Ce service vient compléter les initiatives déjà engagées autour de l’IA générative au sein de BNP Paribas. Ce déploiement progressif doit permettre de prendre en compte les spécificités locales, tout en garantissant un haut niveau de sécurité, de conformité et d’efficacité opérationnelle.
BNP Paribas est un leader européen des services bancaires et financiers. Le groupe est présent dans 64 pays et rassemble 178 000 employés, dont 144 000 en Europe.
Et vous, qu’en pensez-vous ?
Une idée, une réaction, une question ? Laissez-nous un mot ci-dessous.
J’ai quelque chose à dire