De manière plus globale, il n’y avait pas de compréhension de ce qu’est un DataWarehouse d’entreprise chez Darty. Et de toute façon, la solution sous la forme d’une appliance aurait été obsolète une fois mise en service au vu de l’évolution des projets prévue.
Une solution Open Source à petit prix
Une solution Big Data sous Hadoop a finalement été testée. « Nous nous sommes tournés vers l’Open Source, et fait quelques tests. Les résultats étaient satisfaisants. Il a été décidé de faire le projet de Datawarehouse en Open Source, et de rendre les données visibles pour les métiers » déclare-t-il. Le projet ne devait pas être un développement informatique caché, invisible des métiers.
« La solution Open Source et son coût de mise en œuvre reviennent en tout au même prix que le seul hardware de l’appliance de DataWareHouse que nous avions envisagé d’acheter au départ » se félicite Régis Koenig.
Fonctionner en temps réel
Bien qu’Hadoop ne soit pas temps réel, l’application développée par Darty fonctionne en temps réel. « C’était un pré-requis » confirme-t-il. Parmi les prochains projets, l’objectif est de basculer progressivement l’ancien DataWarehouse sur la nouvelle plateforme.
Il sera également nécessaire de sécuriser le fonctionnement. « Nous devons avoir un fonctionnement 24 heures sur 24. Pour l’instant la plateforme est sur un seul site, elle doit être doublée sur un second site » estime Régis Koenig. Les données du site Web de MisterGooddeal racheté il y a peu seront intégrées à la même application.
Actuellement, Darty stocke tout type d’information sur la plateforme Hadoop, même si elles ne sont pas encore utilisées. Il s’agit de préparer l’avenir et tout type d’usage que l’on ne peut pas forcément encore prévoir actuellement.
Plateforme Hadoop
Côté technique, c’est une solution Hadoop qui a été installée sur un cluster de 12 nœuds. « C’est une petite configuration » relate modestement Régis Koenig. Les composants utilisés sont la distribution Hadoop de l’américain MapR, l’outil d’accès Hive et le moteur de recherche ElasticSearch afin d’accéder en temps réel aux informations.
Les données sont intégrées via les outils de Talend. Le développement a été assisté par la société Ysance, spécialiste du Big Data, et qui a délégué une équipe de cinq ingénieurs durant plusieurs mois pour la réalisation et la sélection des composants.
La solution Hadoop s’insère dans une informatique en strates et en plat de spaghettis qui a été bâtie durant cinquante ans chez Darty, et comprend notamment un Mainframe, toujours là, même si plusieurs responsables ont essayé de le démonter mais s’y sont cassé les dents jusqu’à présent. Chez Darty, le cross canal se fait encore pour beaucoup en Cobol. Le distributeur dispose d’une base de données unique de ses clients depuis 2006-2007.
