Feature engineering pour le Machine Learning

Appréhension directe et rapide d’un dataset

Afin d’éviter des redondances inutiles, nous allons nous doter d’un dataset conventionnel issu de la littérature scientifique. Le package mlbench permet d’accéder à certaines données classiques et également de fabriquer des datasets adaptés à un type de problème donné.

library(tidyverse) 
library(mlbench)           # package pour créer ou accéder à des données de test 

On peut facilement lister l’ensemble des datasets de démonstration proposés dans les packages qui sont installés sur une machine.

data(package = .packages(all.available = TRUE)) # liste des datasets disponibles 

Voici un (très) court extrait de ce qui est disponible sur notre machine :

... 
Data sets in package ‘mlbench': 
 
BostonHousing                Boston Housing Data 
BreastCancer                 Wisconsin Breast Cancer Database 
DNA                          Primate splice-junction gene sequences (DNA) 
Glass                        Glass Identification Database 
HouseVotes84                 United States Congressional Voting Records 1984 
Ionosphere                   Johns Hopkins University Ionosphere database 
LetterRecognition            Letter Image Recognition Data 
Ozone                        Los Angeles ozone pollution data, 1976 
PimaIndiansDiabetes          Pima Indians Diabetes Database 
... 

Nous allons invoquer les données suivantes :

data(PimaIndiansDiabetes)  # accès...

Analyse de la conformation des distributions par rapport à la loi normale

On peut valider certaines de nos intuitions par rapport à la normalité des données en confrontant ces densités à la loi normale en utilisant un diagramme Quantile-Quantile. 

# ajustements loi normale(mu,e) 
plot_qq(df)          # diagrammes Quantile-Quantile 

Diagrammes Quantile-Quantile

Même sans savoir interpréter finement un tel diagramme, cela attire notre attention sur certaines caractéristiques des données :

On peut comparer cet ajustement en distinguant...

Dépendance linéaire entre variables

En complément, il est d’usage de vérifier si certaines des variables explicatives ne sont pas en forte corrélation, ce qui pourrait inciter à essayer des modèles de prédiction qui ne garderaient que l’une ou l’autre de ces variables (pour bien faire, on compare l’efficacité avec l’une et avec l’autre, et quand elle est similaire, on conserve la variable la plus facile à interpréter ou à collecter dans le monde réel).

plot_correlation(df) # un tableau de corrélations 

Corrélations deux à deux

Notre problème n’est pas linéairement trivial, le diabète n’est manifestement pas corrélé simplement à une variable. Excepté pour la variable age, il semble totalement exclu qu’il y ait une part de relation plus ou moins linéaire et simple entre le nombre de grossesses et les autres variables explicatives. On peut se représenter cela, peut-être à tort, en imaginant qu’il serait intéressant de réfléchir à imaginer deux grandes familles de prédicteurs : prédicteurs "sociaux" (âge, nombre de grossesses) et prédicteurs techniques (les autres). Tout cela étant posé, remarquez que cette piste ne porte que sur des relations linéaires...

Mise en évidence de différences sur les distributions

Nous allons maintenant tâcher de mettre en évidence (ou non) d’éventuelles différences de distributions pour certaines variables d’aspect gaussien (pour cet exemple, nous avons choisi glucose) entre la distribution avec diabète ou non.

Notre préoccupation principale sera la significativité de l’éventuelle différence de moyenne. L’outil nous donne également des informations sur la différence d’écart-type, qui ne nécessite pas d’interprétation forte, sinon que le fait qu’elle soit significative peut nous conforter dans l’idée qu’un algorithme judicieux saura en extraire des améliorations de prédictibilité du diabète.

library(lessR)                                  
d <- df                   # par défaut lessR utilise d comme dataset 
tt(glucose ~ diabetes)    # graphique et stats 

Distributions du glucose en fonction du diabète

La différence de moyenne est significative !

Vous pourriez aussi vouloir une représentation en "moustache/violon", en utilisant la syntaxe suivante :

library(ggstatsplot) 
 
set.seed(666) 
ggbetweenstats( ...

Points étrangers

La représentation suivante va permettre d’extraire des observations candidates à ce que vous les qualifiiez comme points étrangers (outliers). C’est à vous de choisir par essais successifs de différents paramètres le pouvoir plus ou moins discriminant du contour que vous allez tracer. Il vous reste à étudier individuellement les points à l’extérieur, dont l’identifiant est stipulé, pour commencer à envisager votre stratégie de traitement de ce type de point.

Le fait de conserver des points techniquement aberrants (anomalies ou pas) peut être valide ou non, suivant le traitement que vous appliquez sur ces valeurs. Le fait de conserver ou pas des points correspondant à des observations exceptionnelles peut vous aider à diminuer l’overfitting ou, à l’inverse, diminuer la prédictibilité de vos modèles. Toute décision de ce type doit être soigneusement consignée comme hypothèse structurante dans la documentation de vos modèles. Vous serez souvent amené à challenger ces hypothèses et à faire évoluer vos positions quant à celles-ci pour améliorer votre travail. Ne prenez pas pour argent comptant les assertions que vous pouvez trouver ici ou là vous donnant une méthode automatique pour gérer...

Tris et agrégats

# une petite fonction pour imprimer head + tail d'un objet data 
h_t <- function(x, titre = "", sous_titre ="", n = 3) 
         { 
          cat(titre, "\n") 
          cat(sous_titre, "\n") 
          print(rbind(head(x,n),tail(x,n))) 
         } 

# tri à plat sur 2 var discrètes 
t <- table(df$pregnant,df$diabetes)             # tri simpliste   
h_t(t, 
   "6 lignes extraites d'un simple tri à plat, nb grossesses vs statut diabète",  
   "----------" 
   ) 
 
6 lignes extraites d'un simple tri à plat, nb grossesses vs statut diabète  
----------  
  neg pos 
0   73  38 
1  106  29 
2   84  19 
14   0   2 
15   0   1 
17   0   1 

t <- addmargins(table(df$pregnant,df$diabetes)) # tri avec les sommes 

6 lignes, tri à plat avec sommation, nb grossesses vs statut diabète  
---------------  
   neg pos Sum 
0    73  38 111 
1   106  29 135 
2    84  19 103 
15    0...

Feature Engineering et Data Science

Avec moins de 100 000 entrées dans Google, le Feature Engineering, que l’on pourrait traduire avec un peu d’imagination comme étant le Génie des données, pourrait sembler le parent pauvre du Machine Learning et de ses 20 millions de liens. Pourtant, celui-ci représente souvent plus de la moitié de l’effort à fournir sur un projet de Data Science.

Après avoir étudié attentivement les données brutes et les avoir visualisées avec des techniques comme celles de la section précédente, il va falloir travailler les données avec un peu plus de finesse.

PCA classique, éléments mathématiques

Cette petite section devrait vous permettre de lire et déchiffrer avec profit la littérature sur la PCA et donne un aperçu de quelques techniques matricielles courantes (dont le changement de base).

Avec les conventions suivantes :

On peut calculer qui est la matrice de covariance - si X n’était que centrée - ou la matrice des coefficients de corrélation si X était centrée et réduite. Il apparaît que si l’on ne réduit pas la matrice alors les variables à forte variance influencent plus fortement le modèle. C est une matrice symétrique réelle (et inversible car il n’y avait pas de vecteurs colinéaires dans X).

Réduction des données (data reduction)

Cette petite section ne concerne pas stricto sensu le "Feature Engineering", mais a également trait au nettoyage des données avant l’utilisation d’un algorithme, souvent lié au Machine Learning. Comme la confusion est courante, jetons un œil sur cette notion. Ici le problème est inverse, la préparation ne porte plus sur les "colonnes" mais sur les "lignes".

Cette opération consiste dans l’extraction puis l’utilisation d’un sous-ensemble cohérent de lignes issues d’un dataset de grand volume. Elle est parfois utile pour économiser des ressources machines, mais aussi pour améliorer l’efficacité de certains algorithmes ou pour en diminuer l’exposition au "bruit".

Cette notion de bruit est tout à fait intuitive dans le cas de l’interprétation d’images ou de sons, où on est habitué à l’idée que les capteurs soient moins efficaces que souhaité et y introduisent du "bruit". Ce problème d’introduction de bruit n’est pas propre aux capteurs "physiques" : du "bruit" peut être introduit accidentellement dans n’importe quel type de données en fonction du processus de captation de l’information.

Une des techniques...

Réduction de la dimensionnalité et entropie

Il peut à juste titre sembler gênant de baser toute sa stratégie de réduction de la dimensionnalité sur l’algèbre linéaire, comme on le fait avec la PCA, car ces techniques pourraient embarquer certaines hypothèses simplificatrices sur la nature des données sur lesquelles le data scientist a peu de prise.

Le concept "d’entropie et d’information partagée" décrit dans l’introduction de cet ouvrage semble plus général et il semble donc légitime de bâtir une part de sa stratégie sur ces concepts.

Dans le chapitre Machine Learning, nous avons exprimé l’information mutuelle de deux variables comme étant représentable par l’expression suivante (en fonction de l’entropie) : I(X,Y) = H(X) + H(Y) - H(X,Y).

Cette expression s’annulant dans le cas de deux variables dépendantes. Ici la notion de dépendance ne suppose pas une dépendance linéaire ou même une dépendance linéaire après une quelconque transformation.

1. Description théorique du problème

Nous allons appeler S (comme set) l’ensemble de nos variables explicatives x_i et y notre variable de réponse.

Notre objectif est de sélectionner un sous-ensemble de S comportant p features, à savoir certaines variables explicatives (features). Nous nommerons ce sous-ensemble s et m son nombre de features.

Il nous faut donc un critère de sélection.

En première approximation, on imagine rapidement qu’il faut trouver l’ensemble de features s qui possède la plus grande dépendance avec la cible y. En effet, si un ensemble de features possède plus d’informations mutuelles qu’un autre avec la cible, cet ensemble sera le plus à même de prédire la cible.

Comme nous avons décidé d’utiliser l’information mutuelle, notre mesure de dépendance sera .

L’idée sera alors d’explorer toutes les possibilités d’ensemble s inclus dans S, de calculer cette dépendance et de retenir la plus élevée.

Ce qui, dès que p est peu grand, induit à calculer un très grand nombre de combinaisons d’informations...