Ce livre est un véritable guide pratique sur Talend Open Studio (en version 8) qui s’adresse aux professionnels désireux de maîtriser l’intégration de données avec cet ETL. 37 jobs Talend allant des plus simples à des jobs de niveau expert sont étudiés dans le but de donner au lecteur les clés pour comprendre la création de flux de données efficaces et l’intégration de données dans différentes sources pour une aide à la décision. Avant de commencer la lecture, il est important de maîtriser les concepts de base de la gestion de données.

L’auteur commence par donner une vue d’ensemble de l’installation de Talend et définir les termes clés, avant de permettre au lecteur de découvrir Talend par la pratique à travers plu­sieurs exemples concrets de jobs expliqués de manière détaillée. Le composant incontournable tMap et les fonctions Java les plus souvent utilisées sont présentés avant d’explorer l’intégra­tion de Talend aux bases de données SQL. La suite des chapitres présente le travail collabora­tif avec Talend, les nouveaux composants de la version 8, ainsi que l’utilisation de PLSQL. Les scripts SQL et PLSQL ainsi que les commandes GIT et PowerShell sont également explicités.

Pour renforcer l’apprentissage de Talend, l’auteur propose quelques chapitres à visée plus pé­dagogique. Une évaluation pratique sur un projet d’entreprise (avec sa correction) ainsi qu’un jeu de 100 questions/réponses permettent au lecteur de se préparer efficacement à la certifi­cation Talend et de valoriser ses compétences dans le cadre d’entretien. Un chapitre expose également les bonnes pratiques pour une utilisation de Talend efficace.

Téléchargements

• Des fichiers complémentaires (4 728 Ko)

Présentation, installation et définitions

1. 1. Introduction
2. 2. Que sont les outils ETL ?
3. 3. Types d’outils ETL
   1. 3.1 Outils ETL des logiciels d’entreprise
   2. 3.2 Outils ETL open source
   3. 3.3 Outils ETL basés sur le cloud
   4. 3.4 Outils ETL personnalisés
4. 4. Étude de marché ETL
   1. 4.1 Integrate.io
   2. 4.2 IBM DataStage
   3. 4.3 Oracle Data Integrator
   4. 4.4 Fivetran
   5. 4.5 SAS Data Management
   6. 4.6 Talend Open Studio
   7. 4.7 Dataddo
   8. 4.8 AWS Glue
   9. 4.9 Azure Data Factory
   10. 4.10 Google Cloud Dataflow
   11. 4.11 Stitch
   12. 4.12 Informatica PowerCenter
   13. 4.13 Skyvia
   14. 4.14 Hadoop
   15. 4.15 Singer
5. 5. Présentation de Talend
6. 6. Les avantages de Talend
7. 7. Les produits Talend
   1. 7.1 Data Integration
   2. 7.2 Application Integration
   3. 7.3 Data Preparation
   4. 7.4 Big Data Integration
   5. 7.5 Master Data Management
   6. 7.6 Cloud Integration
8. 8. Pourquoi un ETL ?
9. 9. Pour quels besoins utilise-t-on Talend for Data Integration ?
10. 10. Téléchargement et installation de Talend Open Studio 8
    1. 10.1 Installer Java
    2. 10.2 Configuration de la variable d'environnement Java
    3. 10.3 Démarrer Talend Open Studio
11. 11. Définitions
12. 12. Qu’est-ce qu’un Data Warehouse ?
13. 13. Qu’est-ce qu’un datamart ?
14. 14. Qu’est-ce qu’un ERP ?
15. 15. Qu’est-ce que GIT ?
16. 16. Qu’est-ce que SSH ?
17. 17. Comment générer une clé SSH pour GIT ?
18. 18. Qu’est-ce que FileZilla ?
19. 19. Métiers nécessitant la maîtrise de Talend

Talend par la pratique

1. 1. Introduction
2. 2. Premiers pas avec Talend Open Studio 8
3. 3. Job 0 : création d’un job
4. 4. Job 1 : générer un fichier XML à partir d’un fichier CSV
5. 5. Création d’un schéma de données
6. 6. Job 2 : utilisation des liens déclencheurs
7. 7. Création et utilisation des groupes et variables de contexte
   1. 7.1 Pourquoi ?
   2. 7.2 Méthode
8. 8. Job 3 : utilisation du composant tConvertType
9. 9. Job 4 : échantillonnage de données
10. 10. Job 5 : agréger et trier des données
11. 11. Job 6 : filtrer les colonnes d’un fichier CSV
12. 12. Job 7 : filtrer les données des lignes d’un fichier
13. 13. Job 8 : les variables globales
14. 14. Job 9 : les variables globales avec tSetGlobalVar
15. 15. Job 10 : manipulation de dossiers et copie de fichiers
16. 16. Contexte implicite
17. 17. Job 11 : génération de lignes avec tRowGenerator
18. 18. Job 12 : le contexte implicite avec tContextLoad
19. 19. Job 13 : générer des avertissements et capturer les erreurs
20. 20. Job 14 : orchestration des jobs
21. 21. Job 15 : chronométrer le temps d’exécution d’un job
22. 22. Job 16 : tLibraryLoad pour vérifier la validité d’adresses e-mail
23. 23. Job 17 : calculer la distance de Levenshtein entre des mots
24. 24. Job 18 : utilisation du composant tJavaFlex
25. 25. Job 19 : utilisation du composant tIntervalMatch
26. 26. Job 20 : utilisation du composant tFileInputPositional
27. 27. Job 21 : apprendre à utiliser une regex avec tFileRegex
28. 28. Job 22 : générer facilement un fichier XML

tMap et les fonctions Java dans Talend

1. 1. Introduction
2. 2. Quelques notions sur Java dans Talend
3. 3. Comment utiliser les routines système de Talend ?
   1. 3.1 Routines numériques
   2. 3.2 Routines relationnelles
   3. 3.3 Routines sur les chaînes de caractères
   4. 3.4 Routines pour la génération de données
   5. 3.5 Routines pour les dates
   6. 3.6 Routines pour les caractères
4. 4. Les conversions dans Talend
5. 5. Talend et les tests ternaires
6. 6. Job 23 : mon premier job avec les jointures
   1. 6.1 Étape 1
   2. 6.2 Étape 2
   3. 6.3 Étape 3 (éditer le tMap)
7. 7. Job 24 : trier les données avec tMap
8. 8. Job 25 : les fonctions Java dans tMap
9. 9. Job 26 : jointure Left Outer Join (jointure à gauche) et Right Outer Join (jointure à droite)
10. 10. Job 27 : jointure Inner Join (premier job)
11. 11. Job 28 : jointure Inner Join (deuxième job)
12. 12. Job 29 : jointure Inner Join avec tJoin
13. 13. Job 30 : jointure Full Outer Join
14. 14. Job 31 : job avec routines
15. 15. Les messages d'erreurs fréquents dans Talend
16. 16. Exemples de code Java à utiliser quotidiennement
    1. 16.1 Compter le nombre de lignes d'un fichier CSV
    2. 16.2 Remplacer les codes ISO 3166-1 alpha-3 des pays par des codes ISO 3166-1 alpha-2 en Java
    3. 16.3 Changer le format de date sur une colonne de type date
    4. 16.4 Remplacer tous les libellés Madame par Mme dans la colonne d'un fichier
    5. 16.5 Supprimer les sauts de ligne dans un fichier avec tReplace
    6. 16.6 Routine Java pour supprimer les sauts de ligne dans un fichier

Talend et les bases de données SQL

1. 1. Introduction
2. 2. Généralités sur le langage SQL
   1. 2.1 Algèbre relationnelle syntaxe
   2. 2.2 Projection syntaxe
   3. 2.3 Commentaire
   4. 2.4 Commentaire multiligne (/* et */)
   5. 2.5 Filtrer avec les opérateurs
      1. 2.5.1 L’opérateur AND
      2. 2.5.2 L'opérateur OR
      3. 2.5.3 Combiner AND et OR
      4. 2.5.4 L’opérateur IN
      5. 2.5.5 L’opérateur LIKE
      6. 2.5.6 L’opérateur IS
      7. 2.5.7 L’opérateur BETWEEN
      8. 2.5.8 Instruction CASE
      9. 2.5.9 Les jointures
   6. 2.6 Les fonctions d'agrégation
   7. 2.7 ORDER BY
   8. 2.8 La différence entre UNION et UNION ALL
   9. 2.9 L'opérateur ANY
   10. 2.10 L'opérateur ALL
3. 3. Les modèles SQL dans Talend
   1. 3.1 DeltaLake
   2. 3.2 Generic
   3. 3.3 Hive
   4. 3.4 MySQL
   5. 3.5 Netezza
   6. 3.6 Oracle
   7. 3.7 ParAccel
   8. 3.8 Snowflake
   9. 3.9 Teradata
   10. 3.10 Vertica
4. 4. Job 32 : connecter Talend à une base de données
5. 5. Job 33 : importer des tables dans Talend
6. 6. Job 34 : lier un fichier Excel et une BDD
7. 7. Job 35 : BDD_EXTRACTION
8. 8. Job 36 : CONNECT_AND_CHARGE
9. 9. Job 37 : JOIN_MULTI_BASE
10. 10. Chargement Bulk (Massif)
    1. 10.1 Chargement Bulk indirect
    2. 10.2 Chargement Bulk direct

Examen pratique et correction

1. 1. Introduction
2. 2. Spécifications
3. 3. Sources
   1. 3.1 Données de référence Client
   2. 3.2 Données de référence Offre
   3. 3.3 Données de référence Direction
   4. 3.4 Données de référence Distance
   5. 3.5 Données de référence Produit
   6. 3.6 Données de fait Appels
4. 4. Chargements
   1. 4.1 Description des actions à effectuer
   2. 4.2 Structure de l’espace de travail
   3. 4.3 Liste des chargements de l’espace de travail (Staging Area)
5. 5. Structure du Data Warehouse
6. 6. Correction de l'examen
   1. 6.1 Chargement SRC vers STG
      1. 6.1.1 JOB_DIRECTION_SRC_STG
      2. 6.1.2 JOB_DISTANCE_SRC_STG
      3. 6.1.3 JOB_PRODUIT_SRC_STG
   2. 6.2 Mapping FILE VERS STG
      1. 6.2.1 JOB_OFFRE_FILE_STG
      2. 6.2.2 JOB_CLIENT_FILE_STG
      3. 6.2.3 JOB_FAITAPPELS_FILE_STG
   3. 6.3 Mapping STG VERS DWH
      1. 6.3.1 JOB_DIRECTION_STG_DWH
      2. 6.3.2 JOB_PRODUIT_STG_DWH
      3. 6.3.3 JOB_DISTANCE_STG_DWH

Entretien et certification Talend

1. 1. Introduction
2. 2. Talend Data Integration Certified Developer Exam
3. 3. Détails de l'examen de certification
4. 4. Expérience recommandée
5. 5. Préparation
6. 6. Les questions

Travail collaboratif

1. 1. Introduction
2. 2. Connexion SSH sous Windows
3. 3. Se connecter au serveur via SSH
4. 4. Commandes Linux à connaître
   1. 4.1 Commandes SSH
   2. 4.2 Commandes pour les fichiers
   3. 4.3 Autorisations sur les fichiers
   4. 4.4 Recherches
   5. 4.5 Raccourcis
   6. 4.6 Réseau
   7. 4.7 Commandes système
   8. 4.8 Gestion des processus
   9. 4.9 Compression
5. 5. Commandes Git à connaître
6. 6. PowerShell
   1. 6.1 Les opérateurs dans PowerShell
      1. 6.1.1 Les opérateurs de comparaison
      2. 6.1.2 Les opérateurs de remplacement
      3. 6.1.3 Les opérateurs logiques
   2. 6.2 Les variables dans PowerShell
   3. 6.3 Verbes et alias
   4. 6.4 Utilisation de structures de contrôle de flux en PowerShell

Bonnes pratiques

1. 1. Introduction
2. 2. Structure générale des jobs
3. 3. Optimisation des traitements sous Talend
4. 4. Bonnes pratiques générales
5. 5. Contrôle qualité
6. 6. Normes de développement
   1. 6.1 Règles générales
   2. 6.2 Règles liées au SQL
   3. 6.3 Règles liées aux fichiers délimités
   4. 6.4 Règles pour l’ordonnancement des répertoires Folder
   5. 6.5 Règles pour le nommage des répertoires et des jobs
   6. 6.6 Règles concernant les liens
      1. 6.6.1 Règles pour le nommage des composants
      2. 6.6.2 Règles pour le nommage des contextes
      3. 6.6.3 Règles pour la gestion des rejets

Introduction à PL/SQL

1. 1. Introduction
2. 2. Définitions
3. 3. Exemples pratiques d'utilisation
   1. 3.1 Déclaration de variables et de constantes
      1. 3.1.1 Exemples de déclarations
      2. 3.1.2 Autres exemples de déclarations
      3. 3.1.3 Déclaration de tableau
   2. 3.2 Fonction EXCEPTION
   3. 3.3 La fonction COUNT
   4. 3.4 Fonction DATE
   5. 3.5 La fonction BULK COLLECT
   6. 3.6 La variable SQL%FOUND
   7. 3.7 La variable SQL%NOTFOUND
   8. 3.8 La fonction SQL%ROWCOUNT
   9. 3.9 La fonction WHILE
   10. 3.10 Les variables dérivées
   11. 3.11 Les méthodes de tableau associatif
       1. 3.11.1 La différence entre un tableau et un tableau associatif
       2. 3.11.2 Exemples d'utilisation
   12. 3.12 La fonction UPDATE
   13. 3.13 La fonction OPEN
       1. 3.13.1 Exemple sans OPEN ... FOR
       2. 3.13.2 Exemple avec OPEN ... FOR
   14. 3.14 Déclaration CURSOR_DECLARE
   15. 3.15 IF-THEN-ELSE
   16. 3.16 Utilisation de CURSOR et %FOUND
   17. 3.17 Utilisation de CURSOR et %NOTFOUND
   18. 3.18 Exception CURSOR
   19. 3.19 Cursor Update
   20. 3.20 CURSOR avec %FETCH
   21. 3.21 CURSOR avec %ISOPEN
   22. 3.22 CURSOR avec %ROWCOUNT
   23. 3.23 Cursor FOR Loop
4. 4. Travaux pratiques

Composants Talend et leurs utilisations

1. 1. Introduction
2. 2. Les composants Talend
   1. 2.1 Big Data
   2. 2.2 Business
   3. 2.3 Business Intelligence
   4. 2.4 Custom_Code
   5. 2.5 Data Quality
   6. 2.6 DotNET
   7. 2.7 ELT
   8. 2.8 ESB (Enterprise Service Bus)
   9. 2.9 Fichiers
   10. 2.10 Internet
   11. 2.11 Logs_Errors
   12. 2.12 Messagerie
   13. 2.13 Divers
   14. 2.14 Orchestration
   15. 2.15 Traitement (processing)
   16. 2.16 Système
   17. 2.17 Technique
   18. 2.18 Non structurées
   19. 2.19 XML
   20.  
   21.  
   22.  
   23.  
   24. Index
   25.