Alimenter l'entrepôt de données avec SSIS

1. Réaliser le chargement du budget d’un seul site

Pour continuer à découvrir l’outil SSIS, nous allons réaliser le flux qui va permettre de charger les budgets de vente dans l’entrepôt de données.

Chez Distrisys, les budgets des ventes sont saisis par chaque site directement dans Excel, puis déposés dans un répertoire accessible par l’équipe informatique.

Ces fichiers budgets de ventes sont disponibles en téléchargement depuis la page Informations générales.

Les cinq nouvelles tâches du flux de données

Nous allons ensuite configurer chacune de ces tâches une à une :

Éditeur de source de fichier plat

1. Déroulement de l’exécution d’un processus ETL

Dans cette partie, nous allons vous présenter les différents types de flux, que vous serez en mesure de rencontrer pour alimenter votre entrepôt de données.

Dans les faits, les données ne vont pas transiter directement des systèmes sources vers l’entrepôt de données. Les données vont transiter par au moins un palier : le sas de données. Dans notre cas, nous appellerons cette base DistrisysSA (SA en anglais signifiant Staging Area).

Le chargement va se faire suivant ce schéma de principe :

Architecture de chargement de données

Le Staging Area a plusieurs rôles :

La mise en place d’un Staging Area est une étape indispensable à la bonne mise en œuvre de vos flux ETL.

Nous répartirons les rôles de la manière suivante :

1. Les objectifs de l’audit de flux ETL

Les exemples qui ont été présentés précédemment sont des flux inachevés, dans le sens où ses flux n’intègrent pas la gestion d’erreurs et l’audit du déroulement du flux.

Par expérience, l’audit de processus ETL, souvent appelé à tort gestion des rejets, génère soit beaucoup de fausses croyances, soit beaucoup de faux espoirs. Dans la plupart des cas, elle est même mise de côté. Une des principales idées reçues consiste à faire croire qu’un logiciel ou qu’un package miracle permet de mieux gérer la qualité des données. Dans les faits, l’audit des processus ETL est un travail de finesse du concepteur ETL, traitant un cas ou un contexte particulier. Si un cas peut difficilement être retranscrit à l’identique pour un autre cas, il en reste néanmoins des bonnes pratiques. C’est ce que nous allons voir au cours de cette partie.

Tout d’abord, nous allons nous poser les questions suivantes : qu’est donc l’audit de flux ETL ? Quel est son objectif ?

En fait, l’audit de processus ETL poursuit des objectifs multiples et permet de répondre à de nombreuses questions. Cela signifie que suivant le contexte, on va rendre plus performant l’audit sur certains points plutôt que sur d’autres.

Les objectifs poursuivis par l’audit des processus ETL sont :

Le processus ETL a-t-il eu lieu ? Est-il terminé ? A-t-il terminé avec succès ? Quelle a été sa durée ?

Quelle est la nature des erreurs rencontrées ? Combien y en a-t-il ? Quelles sont-elles ? Quelles sont les origines des problèmes ? Combien dénombre-t-on d’origines différentes ? Quelles sont les lignes concernées ? Combien de lignes sont concernées ?

Mon flux se fiabilise-t-il ? Génère-t-il de moins en moins d’erreurs ? Comment les durées d’exécution...

1. Paramétrage des flux

Actuellement, les connexions du Gestionnaire de connexions sont définies en dur. Nous allons donc les configurer afin que leurs chaînes de connexion soient issues d’un paramètre pour lequel vous pourrez définir une valeur en fonction de l’environnement. Vous faciliterez ainsi la portabilité de vos flux. Pour cela, nous allons devoir créer deux paramètres :

Si vous prévoyez l’exécution de vos flux de production avec l’agent SQL Server, vos flux seront exécutés avec le compte de service de l’agent...