Architecture infrastructurelle d’Hadoop

Introduction

« On ne devrait pas essayer de faire des serveurs de plus grande capacité, on devrait plutôt ajouter plusieurs nœuds d’ordinateurs à ces serveurs. » (Grace Hopper)

Hadoop est une implémentation du MapReduce de Google et de son système de fichiers distribué. Le MapReduce a été conçu pour faire du traitement massivement parallèle à l’aide d’un cluster. Vous pouvez installer une implémentation du MapReduce dans un cluster pour gérer des traitements de données à grande échelle de manière complètement tolérante aux pannes. Cependant, toutes les configurations de clusters ne sont pas adéquates pour exécuter du MapReduce. Dans ce chapitre, nous allons clarifier la notion de cluster, étudier les choix possibles quant à la construction d’un cluster de façon générale, nous en expliquerons les conséquences, et nous préciserons la configuration adéquate de tout cluster candidat à l’exécution du MapReduce. La compréhension de ces choix architecturaux est fondamentale pour comprendre comment le MapReduce s’exécute dans un cluster. De plus, avec la transition numérique en cours, le MapReduce sera sûrement le mode de traitement par défaut dans votre travail. Donc maîtriser...

Types d’architectures distribuées

Le premier critère dans la construction de l’architecture distribuée nécessaire pour exécuter le MapReduce est le type d’architecture distribuée. En informatique, il existe deux types d’architectures distribuées : les architectures délocalisées, ou architectures client/serveur, et les architectures distribuées.

Modes de partage des ressources dans le cluster

La deuxième décision à prendre quant à la mise en place d’une infrastructure Hadoop est ce que nous appelons le mode de partage des ressources. Nous avons vu précédemment que le cluster computing est l’architecture distribuée qui correspond à Hadoop, cela à cause de ses caractéristiques de scalabilité, de tolérance aux pannes et de haute disponibilité ; la scalabilité étant la clé d’adoption du cluster en entreprise. Il est vrai que nous avons dit plus haut que l’ajout des nœuds dans le cluster est le moyen par lequel la scalabilité linéaire est atteinte dans le cluster. En réalité, l’ajout des nœuds dans le cluster à lui seul ne garantit pas la scalabilité, cet ajout doit se combiner à un mode de partage de ressources qui va déterminer le niveau général de scalabilité du cluster. Ce que nous entendons par mode de partage des ressources, c’est la façon dont les ressources nœuds telles que la mémoire, le disque dur, la puissance de traitement du processeur, sont gérées collectivement pour effectuer des traitements distribués et fournir une performance supérieure à la performance de tous les nœuds réunis. Le mode de partage des ressources a un impact direct sur le niveau de scalabilité du cluster. De plus, en fonction du mode de partage des ressources, les problématiques de traitement des données que vous pourriez gérer avec votre cluster ne seront pas les mêmes. La connaissance de ces modes est donc nécessaire si vous souhaitez développer des applications qui profitent pleinement du cluster. L’objectif ici est de vous faire comprendre ces différents modes de partage des ressources et de vous présenter les cas dans lesquels chacun des modes est approprié. Par définition, un nœud dans un cluster est constitué de quatre composants : le processeur ou CPU, qui exécute tous les traitements de données ; la mémoire RAM, qui est utilisée pour charger les programmes en cours d’exécution ; le réseau, (un port réseau qui permet de connecter...

Modes de communication des nœuds dans le cluster

Dans les regroupements où plusieurs machines sont reliées entre elles pour gérer le stockage et le traitement des données, comme c’est le cas avec le cluster ou le grid, une question demeure : quelle machine est responsable dans le cluster de l’exécution d’une requête ? Cette question est valable dans le cadre d’un cluster Hadoop. Répondre à cette question est le troisième critère nécessaire pour comprendre l’architecture infrastructurelle d’Hadoop, la façon dont les travaux sont répartis sur les nœuds et coordonnés de manière à gérer les pannes éventuelles dans le cluster. Les modèles de communication des nœuds dans les clusters répondent à cette question. Ils déterminent le ou les responsables lorsqu’une requête est adressée au cluster. Pour rappel, en informatique, deux systèmes communiquent à l’aide de ce que l’on appelle un protocole de communication (ou protocole informatique ou protocole réseau). Un protocole informatique est un ensemble de spécifications qui permettent à deux ordinateurs de communiquer. Par exemple, dans un cluster shared-memory, les nœuds accèdent à la mémoire partagée à l’aide...

Modes de traitement de données dans le cluster

Le quatrième et dernier critère indispensable pour comprendre la configuration d’un cluster Hadoop est sans aucun doute les modes de traitement de données. En effet, les modes de partage de ressources dans le cluster ont montré en filigrane que le composant dans lequel on décide de stocker les données est primordial à la fois pour le niveau de scalabilité du cluster et pour sa performance. Soit on décide de stocker les données sur le disque dur (shared-disk), soit on décide de les stocker dans la mémoire (shared-memory). L’incidence lorsqu’on traite les données à partir du disque dur ou à partir de la mémoire n’est pas la même. Dans cette section, nous allons vous expliquer comment et pourquoi.

Dans un ordinateur, la localisation des données qui doivent être traitées a une incidence vitale sur le traitement. Elle demande de faire un arbitrage important entre la performance et la capacité. Deux choix sont possibles pour la localisation des données dans l’ordinateur : soit le disque dur, soit la RAM. Lorsque les données sont chargées en RAM, le traitement est plus rapide. Mais compte tenu de la taille limitée de la RAM, le volume de données qu’on peut analyser est limité.

Lorsque les données sont stockées sur le disque dur, on peut traiter de bien plus gros volumes de données, mais le traitement est plus lent. Lorsqu’on effectue un traitement à partir du disque dur, on fait ce qu’on appelle du batch processing, ou traitement par lots ou traitement sur disque. Lorsqu’on traite des données qui sont chargées en mémoire, on fait ce qui s’appelle de l’in-memory processing, ou traitement en mémoire.

1. Traitement sur disque ou batch processing

Pour comprendre le traitement sur disque, il faut comprendre les principes fondamentaux du traitement de données dans un ordinateur. Par "principes", nous entendons des lois qui ne changent pas, ni avec le temps, ni avec la technologie. Quatre principes régissent le traitement de données dans un ordinateur.

Figure 12 : Architecture du traitement dans un ordinateur.

• 1^er principe : tout traitement informatique des données...

Types de parallélismes des calculs dans un cluster

Comme nous l’avons déjà dit, dans le Numérique, les traitements sont exécutés en parallèle. La baisse du coût des ordinateurs favorise la constitution des clusters et des grilles de calcul pour le traitement massivement parallèle. Étant donné que le parallélisme est la clé du traitement dans l’ère numérique, il est indispensable que vous compreniez les principes qui régissent le traitement parallèle, et c’est l’objectif de cette section. Par définition, l’exécution des traitements dans un ordinateur se fait de façon synchrone, c’est-à-dire que les fonctions et procédures qui constituent les traitements s’exécutent de façon séquentielle, que ce soit en local dans une machine ou dans une machine distante. Dans l’exécution synchrone, le nombre de processeurs qui sont sur l’ordinateur ou le nombre de machines du cluster n’a aucun impact sur les traitements, un seul processeur (cas d’une machine) ou un seul nœud (cas d’un cluster) est utilisé pour l’exécution des traitements. Cette technique a fait son temps, mais aujourd’hui est inefficace, d’une part parce qu’elle ne permet pas de profiter de toute la puissance offerte par les nouvelles architectures de processeurs (les nouveaux processeurs possèdent plusieurs cœurs, ou unités de calcul), et d’autre part parce qu’elle ne permet pas de bénéficier des effets d’échelle entraînés par la constitution des clusters ou des grilles de calcul. C’est pour corriger ces manquements que l’exécution parallèle a été développée. Concrètement, exécuter un traitement parallèle consiste à le diviser en tâches et à exécuter ces tâches en concurrence (en même temps) sur les unités de calcul d’un processeur SMP (Symmetric Multi Processing), ou d’un processeur MPP (Massivelly Parallel Processing) dans le cas d’une machine individuelle, ou sur les nœuds d’un cluster (si le traitement est exécuté sur plusieurs machines). Par contre, à la différence...

Choix architecturaux d’un cluster Hadoop

Hadoop est une implémentation du MapReduce et du GFS. Maintenant que vous maîtrisez les concepts et les principes relatifs aux architectures de calcul distribué, il est temps que nous revenions sur la configuration d’un cluster Hadoop.

Par rapport à tout ce qui vient d’être présenté, la configuration d’un cluster adéquat pour Hadoop respecte les principes suivants :

Conclusion

L’explosion des données qui caractérise le Numérique exige un changement d’approche infrastructurelle dans la façon dont on a toujours géré les traitements de données. Les infrastructures centralisées autour d’un serveur et la version améliorée de l’architecture client/serveur ne sont plus appropriées. Les architectures appropriées sont les architectures distribuées, ou architectures couramment qualifiées de massivement parallèles (MPP). Plusieurs critères entrent en compte dans la construction et la mise en œuvre d’une telle architecture : le type d’architecture distribuée, le mode de partage des ressources, la topologie de réseau ou mode de communication dans le cluster, et le mode de traitement des données. En ce qui concerne Hadoop, l’architecture adéquate est un cluster shared-nothing maître/esclave. Grâce aux avantages de scalabilité horizontale, de linéarité, de tolérance aux pannes et de haute disponibilité, cette architecture convient parfaitement à Hadoop et à la majeure partie des problématiques de données du Numérique. Il est fort probable que, dans un futur proche, cette architecture devienne le standard de traitement de données, comme l’a été l’architecture...

Guide d’étude du chapitre

À retenir