Analyser et fiabiliser les données

Introduction

La préparation de données

Malheureusement, les données ne sont pas toujours prêtes à l’usage qui leur est destiné. En l’état, il est rarement possible de les utiliser afin de produire les résultats attendus (comme l’évolution d’un chiffre d’affaires, le calcul d’un indicateur de satisfaction, etc.). Dans l’immense majorité des cas, il faut retravailler les données brutes afin de les rendre exploitables pour une analyse, une alimentation ou même une modélisation (Machine Learning). Il faut sans doute revenir de manière itérative sur la préparation des données, afin de réajuster le jeu de données en fonction des explorations ou analyses à effectuer. En un mot, la préparation est une étape à intégrer dès le début de l’analyse et qui reste active tout au long du processus.

Cette phase de préparation de données est en quelque sorte la face cachée de l’iceberg. Elle n’en est pas moins une étape importante qui s’avére très chronophage si elle n’est pas effectuée correctement. On dit par exemple que les analystes de données et autres data scientists passent plus de 80 % de leur temps à préparer leurs données. Il ne leur reste donc plus que 20 %...

Analyse technique

On note avant toute chose que l’analyse de données nécessite que les données soient mises à disposition sous un format tabulaire (lignes et colonnes). Ce chapitre concerne donc les données structurées. À l’heure actuelle, toutes les solutions (ou presque) fonctionnent avec des données structurées de la sorte. Quand les données non-structurées ou semi-structurées sont mises à plat (donc structurées), l’idée est ensuite de les analyser d’un point de vue technique. On va devoir les décrire, identifier les tendances et les données aberrantes (outliers).

Cette analyse a plusieurs noms : on l’appelle analyse descriptive, technique ou encore profilage de données (Data Profiling).

Elle permet de décrire l’échantillon de données - ou tout le jeu de données - en lisant le contenu de chaque colonne/ligne pour y découvrir les informations importantes. On peut y trouver de nombreuses métadonnées qui permettent d’enrichir la base de connaissances sur les attributs, comme la fréquence, la distribution des valeurs de données, les formats, les patterns, les valeurs nulles, minimums et maximums, etc. Le jeu de données est donc lu et scruté de fond en comble pour fournir une analyse et un état des lieux exhaustifs.

Mais les outils ou solutions de profilage de données permettent souvent d’aller bien plus loin en matière d’analyse. Nous allons voir en détail les différentes analyses qu’il est possible de réaliser sur un jeu de données sans pour autant en avoir une connaissance préalable. Pour ce faire, on pourrait utiliser des outils No-Code tels qu’Informatica, Talend ou SAS DataFlux qui, par simple clic, permettent d’obtenir des résultats d’analyse structurels des données complets. Mais nous allons plutôt utiliser ici la librairie Python ydata-profiling (anciennement Pandas Profiling), afin que chacun puisse tester ce type d’analyse sur son ordinateur.

Pour installer la librairie, il suffit de lancer la commande pip :

$ pip install ydata_profiling 

Ensuite, il suffit d’ouvrir un dataframe avec la librairie Pandas et de lancer le profiling :

from ydata-profiling...

Le Data Mining pour aller plus loin dans l’analyse

Analyse fonctionnelle et visualisation de données

Nous avons vu précédemment comment mieux comprendre la façon dont étaient structurées et formatées les données dans un jeu de données et comment en extraire les tendances, retirer les données aberrantes, etc. En réalité, il est plutôt rare que l’analyse structurelle ou physique des données soit suffisante car, comme déjà évoqué, une donnée n’a de valeur et de sens que lorsqu’elle est placée dans un contexte. Il est donc indispensable d’approfondir l’analyse des données pour leur donner de la profondeur en comprenant mieux comment elles s’articulent d’un point de vue fonctionnel.

Pour mieux comprendre les données, on va devoir chercher des relations (intra ou inter jeux de données), des tendances, des groupements, etc. C’est véritablement de cette manière que l’on va pouvoir ajouter de la valeur aux données explorées.

Mais disons-le franchement, il n’existe pas d’outil magique qui permette de prendre des données en entrée pour produire en sortie la conclusion attendue ! Une bonne connaissance du métier, du contexte, voire des organisations est, et reste, indispensable. Il est donc nécessaire de combiner de bonnes connaissances fonctionnelles à des outils appropriés pour faire ressortir les résultats qui font sens.

En ce qui concerne les outils, ou plutôt le type d’outils, il faut tout d’abord se tourner vers les outils de DataViz (visualisation de données). Ces outils, grâce à leur souplesse et leur approche visuelle, sont davantage à même de mettre en évidence les conclusions à tirer des données. Ce sont aujourd’hui des outils indispensables et les analystes techniques ou fonctionnels ne peuvent s’en passer.

Quelques exemples d’analyse

Qualité de la donnée

On vient de voir comment analyser et qualifier les données d’un point de vue technique avec le profilage de données et du point de vue fonctionnel avec la visualisation de données. Mais comment déterminer si la donnée est de bonne qualité ?