L’architecture des SI : du mainframe au Big Data

Introduction

Un système d’information (SI - ou Information System - IS) est un ensemble organisé de ressources (logiciels, données, processus, etc.) permettant de collecter, stocker, traiter et diffuser l’information au sein d’une organisation pour soutenir ses activités et sa prise de décision. La notion d’« architecture des systèmes d’information » est apparue avec l’ère des mainframes dans les années 1950-1960. Ces premiers SI étaient monolithiques, avec des architectures simples et peu de composants logiciels interconnectés. Puis, avec l’évolution des technologies et la multiplication des besoins d’entreprise, leurs architectures sont devenues de plus en plus élaborées. L’essor de l’informatique distribuée a entraîné, d’une part, l’apparition d’une multitude de composants logiciels au sein d’un même applicatif (bases de données, services backend, services web, etc.) et, d’autre part, la multiplication des applicatifs au sein des SI. Cette évolution a conduit à une gestion de plus en plus complexe, nécessitant des architectures plus évolutives et flexibles.

Ce chapitre présente l’évolution de l’architecture des systèmes d’information, des mainframes à l’émergence...

Des architectures monolithiques au modèle 3-tiers

L’évolution des architectures logicielles, des systèmes monolithiques aux modèles en 3-tiers, reflète la quête d’une meilleure modularité, évolutivité et résilience dans le développement des systèmes d’information en passant d’un bloc unique à une séparation claire des responsabilités.

Le modèle relationnel de données

Le modèle relationnel de données a été, et demeure largement, la pierre angulaire de la gestion moderne des bases de données.

L’hégémonie du modèle relationnel sur le SI opérationnel

Le modèle relationnel et le modèle 3 tiers ont dominé les systèmes d’information opérationnels pendant vingt ans, largement soutenus par des géants comme IBM, Oracle et Microsoft. Cette stabilité a longtemps freiné l’innovation dans la gestion des données et le design des systèmes d’information, jusqu’à ce que les startups du Web apportent la génération suivante d’innovations pour répondre aux besoins de scalabilité et de flexibilité accrus auxquels elles ont été confrontées.

L’apparition du SI analytique

Le système d’information analytique, ou système d’information décisionnel, souvent aussi désigné par BI - Business Intelligence, s’est développé au fil des décennies pour répondre aux besoins croissants des entreprises en matière de prise de décision basée sur les données. Alors que les systèmes d’information opérationnels se concentraient principalement sur la gestion des opérations quotidiennes, les systèmes d’information décisionnels ont été conçus pour permettre aux entreprises de collecter, stocker et analyser des données sur des périodes plus longues et dans le but de faciliter la prise de décisions stratégiques.

Du mainframe aux applications web

L’apparition des technologies web dans les années 1990 a été une étape majeure dans l’histoire de l’informatique. Cette période a vu un changement progressif mais radical, où les applications dites à « clients lourds » (applications bureautiques) ont cédé leur place aux « clients légers » (applications web), une évolution qui a complètement changé la technologie du tiers de présentation dans le modèle 3-tiers. Cette transformation a permis de significativement simplifier le développement des applicatifs clients, mais surtout de fusionner les technologies internet et intranet.

D’une certaine façon, c’est l’architecture applicative et technique du modèle 3 tiers qui a évolué au travers des âges, Cette évolution est représentée sur la figure 7-7. Attention, on parle bien ici d’architecture applicative et technique au sein du modèle 3 tiers et non pas d’une évolution de l’architecture du SI, qui quant à lui, demeure toujours et encore notre fidèle modèle 3-tiers sur son SGBDR.

Figure 7-7 - L’évolution du modèle 3-tiers

Voyons ces différentes étapes en détail.

Nos systèmes d’information ont vingt ans

Comme nous l’avons vu jusqu’ici, les technologies à la base des applicatifs d’entreprise (ou grand public par ailleurs) ont formidablement évolué. Cependant, au début des années 2000, un constat peut être fait : en vingt ans, les systèmes d’information des entreprises ont été conçus selon des paradigmes architecturaux quasiment inchangés, une approche invariable, sans réelles innovations ou changements de paradigme.

D’un côté, les Systèmes d’Information opérationnels (SIO) soutiennent les opérations quotidiennes et les activités commerciales. Dans ces systèmes, l’architecture en 3-tiers et le modèle de base de données relationnelle ont dominé pendant trente ans. De l’autre côté, les systèmes d’aide à la décision (ou Business Intelligence - BI ou systèmes d’information analytiques), où le modèle architectural de l’entrepôt de données (Data Warehouse) a régné pendant presque vingt ans.

Les géants du Web

Ainsi, les années 2000 à 2010 ont été marquées par une période de transformations majeures dans le paysage des technologies de l’information. Les capacités matérielles ont connu des améliorations significatives, et le commerce électronique ainsi que les échanges sur Internet ont littéralement explosé. Ce bouleversement a poussé certaines entreprises, qualifiées de géants du Web (Yahoo!, Facebook, Google, Amazon, eBay, Twitter...), à rechercher de nouvelles architectures puisque les modèles et bases de données traditionnels atteignaient leurs limites dans ces cas d’usage extrêmes.

Particulièrement, les bases de données relationnelles sont, par conception, difficiles à faire évoluer à grande échelle et se sont avérées peu appropriées à ces nouveaux modèles d’affaires.

Le Big Data et la distribution des données

Nous ne faisons pas seulement face à une augmentation exponentielle de la quantité de données générées ; nous disposons également, aujourd’hui, des technologies nécessaires pour analyser, exploiter et extraire des informations précieuses à partir de ces données. C’est là toute la révolution du Big Data : non seulement les volumes de données ont explosé, mais surtout, il est désormais possible de les transformer en insights stratégiques pour les entreprises.

Les géants du Web ont inventé une nouvelle famille de technologies, appelées technologies Big Data, qui leur ont permis de dépasser les limites des architectures traditionnelles et de faire face au déluge de données auquel ils ont été rapidement confrontés. Ils ont ouvert une voie qui bénéficie aujourd’hui aussi largement aux entreprises traditionnelles.

1. Les fondements du Big Data

Pour contourner les limites des architectures traditionnelles, les géants du Web ont inventé de nouveaux paradigmes architecturaux et ont redéfini la manière de concevoir les systèmes d’information en s’appuyant sur trois idées fondamentales.

Figure 7-13 - Les fondements du Big Data

Idée clé 1 : la distribution des données

Face à l’impossibilité de stocker l’intégralité des données sur une seule machine, la solution consiste à diviser ces données et à les distribuer sur un nombre de machines suffisant pour les gérer. Cette répartition des données, parfois appelée sharding ou partitionnement, implique non seulement de diviser les ensembles de données en fragments ou partitions, mais aussi de toujours répliquer ces fragments. La réplication est cruciale pour assurer la redondance et la disponibilité des données et nous aborderons plus en détail ces mécanismes ultérieurement.

Idée clé 2 : la scalabilité horizontale

Similairement aux données réparties sur plusieurs machines, il est possible de distribuer la charge de calcul sur autant de nœuds que nécessaire pour supporter le volume...

Le théorème CAP

Comme mentionné ci-dessus, la distribution des données (sharding et réplication) a d’importantes conséquences qui doivent impérativement être prises en compte lors de la conception des systèmes qui l’exploitent. Une d’entre elles en particulier est fondamentale et exprimée par le théorème CAP présenté dans cette section.

La notion de quorum

Dans les architectures distribuées, la notion de quorum - un mot emprunté au latin qui signifie « le nombre minimal nécessaire » - désigne le nombre minimal de nœuds d’un système qui doivent se mettre d’accord ou simplement participer pour qu’une opération, quelle qu’elle soit, puisse être considérée comme valide ou qu’une décision puisse être prise. Cette idée est fondamentale pour garantir la cohérence, la disponibilité et la tolérance aux pannes dans des systèmes où les composants (nœuds) communiquent via un réseau.

L’ère NoSQL

Les bases de données NoSQL représentent une nouvelle génération de systèmes de gestion de données, née principalement des technologies développées par les géants du Web. Ces bases se distinguent par leur capacité à scalabiliser horizontalement de manière native, en répartissant les données sur un grand nombre de serveurs, et par leur abandon des comportements et fonctionnalités traditionnels des SGBDR (systèmes de gestion de bases de données relationnelles).

Contrairement aux bases relationnelles, qui reposent sur des principes bien établis comme les transactions ACID et la normalisation stricte, les bases NoSQL adoptent une approche plus flexible, conçue pour répondre aux défis posés par la gestion de volumes massifs de données dans des environnements distribués.

En renonçant à certaines garanties de cohérence (immédiate/stricte) et en offrant une scalabilité horizontale infinie, les bases NoSQL se concentrent sur la performance, la disponibilité et la tolérance aux pannes, des aspects essentiels pour les applications modernes à grande échelle, telles que les réseaux sociaux, le commerce en ligne, et les services de streaming.

Ces systèmes ont ainsi redéfini les paradigmes de gestion des données, en sacrifiant certaines propriétés des SGBDR pour privilégier la performance et l’adaptabilité aux architectures distribuées.

Hadoop

Hadoop est un framework open source conçu pour le traitement et le stockage de données massives (Big Data) de manière distribuée. S’appuyant sur le modèle MapReduce et sur son système de fichiers distribué (HDFS), il permet de gérer efficacement des volumes de données à l’échelle de plusieurs pétaoctets, en exploitant des clusters de machines standards (commodity hardware) pour offrir une haute tolérance aux pannes et une scalabilité horizontale inégalée.

Une alternative au grid computing

Le grid computing, que nous avons présenté au chapitre Des usages militaires à l’ère digitale, à la section L’informatisation massive des entreprises, a été une étape essentielle dans l’évolution des architectures distribuées, offrant une première solution aux besoins de calcul massif pour des applications scientifiques et industrielles.

Cependant, avec l’apparition du Big Data, les limitations du grid computing - en termes de scalabilité, de traitement de données en temps réel et de flexibilité - mais surtout son coût extrêmement élevé sont devenues évidents. Les technologies Big Data ont ainsi remplacé les grilles de calcul en fournissant des architectures plus distribuées, plus accessibles et adaptées à la nature changeante des besoins en données des grandes entreprises modernes et des géants du Web.

Les Data Lake et paradigmes associés

Un Data Lake est une nouvelle architecture de dépôt de données dans lequel les informations sont stockées dans leur format naturel ou brut, sans avoir été transformées ou traitées au préalable. Cette architecture s’oppose radicalement à l’approche Data Warehouse qui préconise de transformer et polir soigneusement la donnée avant de la stocker dans le système analytique.

Il représente généralement un réservoir unique regroupant des copies brutes des systèmes sources, aussi bien les données métiers du système d’information opérationnel que les traces d’audit et les logs techniques, mais également potentiellement des données de capteurs, des données issues des réseaux sociaux, etc., ainsi que des données transformées utilisées pour des tâches telles que le reporting, la visualisation, l’analyse avancée ou l’apprentissage machine. 

Un Data Lake peut contenir différents types de données :

Les architectures streaming

Hadoop a été conçu initialement pour révolutionner les systèmes analytiques en permettant de stocker des données massives et effectuer des opérations de lecture/écriture (IO - Input / Output) de façon massivement parallèle en bénéficiant des disques durs de nombreuses machines. Mais avec l’évolution des technologies NoSQL et l’augmentation de la mémoire disponible, de plus en plus de systèmes et technologies (sur et hors Hadoop) se sont mis à travailler en mémoire. Cette évolution à son tour a permis l’émergence de nouvelles techniques pour travailler en streaming (flux) et en temps réel aussi bien au sein du système opérationnel que pour les besoins analytiques.

Les données en flux (streaming data) désignent des données générées de manière continue, généralement en grands volumes et à haute vitesse. Une source de données en flux concerne généralement des événements à traiter au fur et à mesure de leur occurrence, tels qu’un utilisateur cliquant sur un lien dans une page web, un capteur transmettant en temps réel une information comme la température actuelle, ou encore des transactions boursières.

Une architecture streaming (traitement en flux) est une approche intégrant divers composants logiciels conçus pour ingérer et traiter de grandes quantités de données provenant de plusieurs sources en temps réel. Contrairement aux approches orientées données plus traditionnelles, qui se concentrent sur l’écriture et la lecture par lots, une architecture de traitement en flux consomme les données dès leur génération, les stocke de manière persistante, mais les traite aussi immédiatement en flux tendu au travers de toute la chaîne de composants applicatifs nécessaires pour les usages considérés, comme des outils d’analyse, d’agrégation, de publication, etc.

Un système en temps réel dans ce contexte est un système événementiel, conçu pour être disponible, scalable et stable, capable de prendre des décisions (ou d’effectuer...

L’ère du cloud

Des débuts des bases de données NoSQL à la fin des années 2000 à aujourd’hui, l’univers technologique informatique a continué à beaucoup évoluer. L’ère du cloud a marqué une rupture dans la manière dont les entreprises conçoivent, déploient et exploitent leurs infrastructures informatiques.

Le cloud désigne un modèle d’informatique à la demande où des ressources (comme le stockage, la puissance de calcul ou les applications) sont accessibles à distance via Internet, sans que l’utilisateur ait à gérer l’infrastructure sous-jacente.

Grâce à des plateformes flexibles et évolutives, le cloud permet de répondre aux besoins croissants des organisations en matière de scalabilité, de performance et de résilience. Les technologies cloud-native, conçues spécifiquement pour tirer parti des environnements distribués et décentralisés du cloud, offrent des avantages comme le déploiement rapide, la résilience intégrée et souvent une meilleure gestion des coûts grâce à la facturation à l’usage.

Ces technologies, basées sur des concepts comme les microservices, les conteneurs (Docker, Kubernetes) et le serverless, ne se limitent toutefois pas aux environnements de cloud public. Elles trouvent également leur utilité dans des infrastructures on-premise (à l’interne) ou hybrides, permettant aux entreprises de bénéficier de l’agilité et de la flexibilité des technologies et modèles du cloud tout en conservant un contrôle plus strict sur leurs données et leur infrastructure. Ainsi, les technologies cloud-native apportent une réponse efficace aux défis...

Kubernetes

Kubernetes est une plateforme open source, tirant son inspiration et même sa base technologique de Google Borg, l’un des premiers systèmes de gestion de clusters de Google. Il a été publié en tant que composant open source par Google en 2014, avec une première version officielle en 2015.

1. Introduction à Kubernetes

Kubernetes offre les fonctionnalités suivantes :

• Déploiement automatisé des applications logicielles ainsi que la mise à l’échelle, la tolérance aux pannes et la gestion à travers un cluster de nœuds.

• Gestion des composants d’exécution des applications sous forme de conteneurs, avec des unités applicatives regroupées sous forme de PODs.

• Plusieurs services essentiels, tels que la localisation des services, un réseau virtuel, la gestion des volumes distribués et bien d’autres (en somme, tout ce dont on a besoin pour déployer des applications sur un cluster de calculs distribués).

Aujourd’hui, Kubernetes émerge comme un standard dans le rôle du système d’exploitation du cloud. Il est disponible sous plusieurs distributions dont les principales sont :

• PKS (Pivotal Container Service) ;

• Red Hat OpenShift ;

• Canonical Kubernetes ;

• Google Kubernetes Engine (GKE) / Amazon EKS / Azure Kubernetes Service (AKS).

Kubernetes suit une architecture distribuée qui permet de déployer et gérer des applications à grande échelle sur des infrastructures cloud ou on-premise. Grâce à ses fonctionnalités avancées, telles que le réseau virtuel et la localisation des services, Kubernetes est devenu un pilier essentiel pour les environnements cloud-native, facilitant l’automatisation, la résilience et la portabilité des applications à travers différents environnements.

Sa flexibilité et sa capacité à s’adapter à la complexité des besoins métier modernes en font un incontournable de l’informatique aussi bien cloud qu’interne (on-premise).

Figure 7-31 - L’architecture de Kubernetes

Aujourd’hui, Kubernetes s’est imposé comme la principale plateforme d’orchestration pour gérer toute application conteneurisée. Sa capacité à automatiser...

Les microservices

L’architecture microservices, variante du style architectural orienté services (SOA - Service Oriented Architecture), organise une application sous forme de services faiblement couplés. Le lecteur curieux saura faire un saut au prochain chapitre La programmation, à la section La conception orientée objet qui parle plus en détail des architectures SOA.

Dans une architecture microservices, les services sont fins et les protocoles de communication sont légers. Voyons quelques-unes de ses caractéristiques principales :

L’évolution des systèmes d’information

Aujourd’hui, l’évolution rapide des technologies disponibles au sein des systèmes d’information, marquée par l’émergence du cloud, des microservices et des technologies de scalabilité, redessine les frontières entre les systèmes opérationnels et analytiques. Aussi, dans cet univers en profonde transformation, le modèle relationnel, malgré ses limites, continue de prouver sa robustesse et sa pertinence pour de nombreux cas d’usage, témoignant de sa pérennité face aux nouvelles architectures.