Les grandes solutions de gestion de données

Le Data Warehouse

Un Data Warehouse est un système centralisé de stockage de données conçu pour agréger et organiser de grandes quantités d’informations provenant de différentes sources. Il permet de faciliter l’analyse et le reporting en rendant les données accessibles et structurées. Les entreprises l’utilisent pour prendre des décisions éclairées en analysant les tendances et les performances historiques. On le retrouve plus dans le domaine décisionnel a contrario des applications ou plateformes d’échanges de données comme le Data Hub qui ont davantage une vocation de gestion de données opérationnelles (données chaudes). La différence est notable puisque l’objectif d’un tel stockage d’informations est de permettre à des utilisateurs d’analyser des données froides (stables) afin qu’ils en déduisent des tendances, qu’ils comprennent des évènements passés ou effectuent des prédictions. Le Data Warehouse est donc un espace de stockage conséquent et souvent redondant qui historise des données opérationnelles déjà existantes.

Schéma de fonctionnement du Data Warehouse

Le Data Warehouse porte plutôt bien son nom puisqu’il a pour vocation de stocker dans un espace géant les données stratégiques qui feront l’objet d’une analyse ultérieure. Il s’agit d’y copier de manière régulière les données opérationnelles et de constituer ainsi un historique de données accessible. La conséquence immédiate est que ce Data Warehouse va croître en volume. C’est d’ailleurs cette accumulation de données qui en fait sa richesse.

Dans un Data Warehouse, il est une règle de base qui est de ne jamais modifier les données existantes, mais plutôt d’ajouter de nouvelles informations. Cela garantit l’intégrité et la traçabilité des données historiques. Au lieu de supprimer physiquement des données de la base de données, il est préférable d’opter pour une suppression logique, par exemple en marquant les données à supprimer à l’aide d’un...

Le Data Lake

Un lac de données (ou Data Lake) est un espace de stockage généralisé dans l’entreprise. Sa vocation est de permettre l’agrégation de données de tout type, à tout moment et sans réelles limites. Un Data Lake doit donc permettre et faciliter l’ingestion et le stockage de tout type de données, qu’elles soient structurées, semi ou non structurées. Il doit donc être très flexible et l’immédiate conséquence de cette condition est de ne pas imposer de modélisation.

Pas de schéma de stockage ni d’uniformisation des données, les flux de données entrants se contentent de déposer leurs données dans le Data Lake. La phase d’intégration est donc grandement simplifiée d’un point de vue contrôle mais elle doit en revanche faire face à la contrainte de volume. De plus, le Data Lake doit proposer aux utilisateurs bon nombre d’outils pour trouver, traiter et transformer a posteriori l’information souvent brute qui a été déposée.

Le véritable revers de la médaille d’une telle flexibilité est que le Data Lake peut devenir chaotique. En effet, sans une rigueur stricte de catalogage des données entrantes, le Data Lake peut contenir des données en double, incohérentes, voire totalement...

Le Lake House

Dans certains cas il est impossible de choisir entre Data Warehouse et Data Lake car les deux besoins sont nécessaires. Comment combiner alors les deux approches en une seule ? Le Lake House est né de ce constat. Son concept a concrètement émergé quelques années après l’apparition du Big Data en réponse aux défis rencontrés par les entreprises dans la gestion, l’analyse et l’exploitation de volumes massifs de données diverses (notamment avec la démocratisation de l’IA). Bien que l’idée de combiner les avantages des Data Warehouse et des Data Lake ait commencé à circuler au début des années 2010, le terme Lake House a été popularisé beaucoup plus récemment.

Databricks, une entreprise spécialisée dans l’analyse de données et cofondée par les créateurs d’Apache Spark, a d’ailleurs joué un rôle clé dans la promotion du concept de Lake House. En 2020, la société a introduit cette notion de Lake House dans le cadre de sa plateforme de traitement de données unifiée. Depuis lors, le terme n’a cessé de gagner en popularité.

Le référentiel de données (MDM - Master Data Management)

Le Master Data Management (MDM) est une technologie utilisée pour gérer de manière centralisée et cohérente les données essentielles et partagées au sein d’une organisation. Il vise à garantir la qualité, l’intégrité et la fiabilité des données critiques telles que les informations clients, produits et partenaires. Le MDM permet aux entreprises de disposer d’une source unique et fiable de données de référence, facilitant ainsi la prise de décisions éclairées et la gestion efficace des processus métier.

Le Data Hub

Le Data Hub a pour fonction de faciliter les échanges de données entre plusieurs systèmes disparates à des fins opérationnelles voire décisionnelles (a contrario d’initiatives uniquement décisionnelles). C’est donc un service global et centralisé d’interconnexion des données de l’entreprise. Certains définissent le Data Hub comme une zone virtuelle de stockage. En réalité c’est bien plus que cela car le Data Hub doit pouvoir aussi gérer les échanges à différentes latences entre des applications ou systèmes qui n’ont pas été conçus pour partager des informations.

Les échanges de données étant opérationnels, cela signifie qu’ils sont nombreux et moins volumineux. Cela implique aussi que les temps de réponse (parfois temps réel) sont un aspect important de ce type de plateforme. Initialement, les grandes solutions de Data Hub géraient uniquement les données structurées ou semi-structurées, mais avec l’avènement du Big Data, cela évolue et il n’est plus rare de trouver un Data Hub en amont d’un Data Lake par exemple.

L’EDI

Les EDI (Échange de Données Informatisées ou Electronic Data Interchange) sont des solutions qui ont été conçues pour que des entreprises différentes puissent échanger des données. Le besoin est donc très loin d’être nouveau et les premières solutions d’EDI ont vu le jour dans les années 1980, voire même avant. Ce qui a fait (et continue de faire) leur succès est la notion de standard qui y est bien souvent apposée.