Futur d’Hadoop : limites d’Hadoop et YARN

Introduction

« Le futur n’a de sens qu’à la pointe de l’outil. » (Alain)

Hadoop présente deux limitations majeures qui peuvent constituer un frein à son adoption à grande échelle en entreprise : l’une porte sur le modèle de calcul sur lequel il s’appuie et l’autre porte sur le HDFS, son système de fichiers distribué. Depuis 2009, Hadoop est un projet de la fondation Apache, et cette dernière n’a de cesse de l’améliorer. Actuellement, ces deux limitations majeures ont été levées et la structure d’Hadoop a sérieusement été revue. Cet ouvrage met plus l’accent sur les principes, c’est pourquoi nous n’avons pas commencé l’étude directement avec la dernière version d’Hadoop. Nous avons voulu vous faire comprendre les problèmes qui ont entraîné la version d’Hadoop actuelle, car la clé de la compréhension de la technologie ne se situe pas dans la technologie elle-même, mais dans la connaissance du contexte dans lequel elle a été créée. Ce chapitre décrit les problèmes (le contexte) qui ont engendré la version actuelle d’Hadoop ce que sera l’exploitation d’un cluster Hadoop dans un futur très proche. Attention, tous les principes...

Limites d’Hadoop

Les améliorations viennent toujours des limites que l’on rencontre. Hadoop tel que nous l’avons décrit dans les chapitres précédents, malgré sa puissance, sa capacité à faire du calcul massivement parallèle de façon complètement tolérante aux pannes comporte des limites. Tout au long de notre expérience avec Hadoop et de nos recherches, nous en avons distingué quatre principales : le modèle de calcul, le système de fichiers distribué, la disponibilité et la sécurité.

YARN et développements en cours sur Hadoop

Dans la toute première version d’Hadoop, les utilisateurs étaient limités uniquement à l’exécution des jobs MapReduce, ce qui était très restrictif en termes d’applications. De plus, l’exécution des jobs MapReduce imposait des choix architecturaux au niveau du cluster et au niveau du HDFS, qui ont engendré les limitations que nous avons étudiées. Depuis la version 2 d’Hadoop, ces limitations ont été levées par une innovation majeure : le YARN. La fondation Apache a extrait la fonction de planification des tâches MapReduce (le JobTracker) pour en faire une application générique de planification de tâches qu’elle a appelée YARN. Grâce au YARN, Hadoop n’est plus limité à l’exécution du seul modèle de calcul MapReduce, mais peut désormais exécuter d’autres modèles de calcul distribué sur le cluster. Chose formidable avec cette innovation, tous les modèles de calcul distribué coexistent sur le cluster. Parallèlement au YARN, plusieurs autres innovations ont été ajoutées dans Hadoop. Dans cette section, nous allons nous focaliser sur le YARN et la fédération HDFS.

Guide d’étude du chapitre

Question 1 : Citez trois facteurs de limitation d’Hadoop 1 et expliquez en quoi ces facteurs constituent des limites.

Question 2 : Quelle est la différence entre le YARN et le jobtracker ?

Question 3 : Les ingénieurs de Yahoo! ont découvert qu’autour de 4 000 nœuds, les performances du cluster Hadoop baissaient.

1 - Expliquez brièvement la cause de cette baisse de performance.

2 - Expliquez comment le YARN réussit à surmonter ce problème.

Question 4 : Dans la version 1 d’Hadoop, l’unité de travail est le job MapReduce. Dans les versions 2 et plus, comment s’appelle l’unité de travail ?

Question 5 : Citez les deux composants qui constituent une unité de travail Hadoop 2.

Question 6 : Quelle est la fonction du Resource Manager dans le YARN ?

Question 7 : Quelle est la fonction de l’Application master dans YARN ?

Question 8 : Quelle est la fonction du Node Manager dans YARN ?

Question 9 : Qu’est-ce qu’un container YARN ?

Question 10 : Soit une application MapReduce-YARN dans laquelle le nombre de tâches Map est de dix. Répondez aux questions suivantes :

1 - Combien de containers YARN seront générés pour l’exécution de ces dix tâches Map ? Justifiez votre réponse.

2 - Les dix tâches...

À retenir