Compléments utiles

GAM : généralisation de LM/GLM

Pour aller plus loin avec le modèle linéaire nous allons étudier sa généralisation, qui fait, à juste raison, partie de la boîte à outils de nombreux data scientists.

Le modèle additif généralisé (GAM) va plus loin que le modèle GLM dans la généralisation des modèles linéaires, aussi faut-il se doter de celui-ci dès le début de vos travaux. 

C’est un modèle très maniable, aux grandes possibilités, efficace en termes de performance, dont les qualités peuvent inciter à des comportements d’overfitting car il permet de faire ce que nous pourrions appeler du "cousu main" sur les données. Mais c’est aussi un modèle qui incite à comprendre et analyser ses données et qu’il est très intéressant d’utiliser dans une optique courageuse et exploratoire.

Dans le modèle linéaire commun, on imagine que la variable de réponse y est une loi normale de moyenne et de variance avec .

Dans le modèle GLM, on introduit d’autres concepts, mais en gardant la linéarité sur les coefficients , qui sont toujours les paramètres à découvrir !

Dans ce modèle, la variable de réponse peut ne pas correspondre à une distribution...

Manipulation d’images

La manipulation d’images permet d’extraire différentes features de celles-ci ou de les prétraiter avant l’application de divers algorithmes (typiquement un traitement au travers d’un réseau neuronal).

Nous allons aborder ces manipulations de façon syntaxique et sans fioriture, l’idée étant de vous inciter à aller plus loin en découvrant la simplicité des outils déjà à votre disposition.

Manipuler des images, c’est aussi évoluer dans un monde spatial en deux et trois dimensions, comme en géographie, où deux dimensions sont les variables explicatives de la troisième (intensité, couleur). Une autre similarité avec les usages géographiques et géophysiques s’avère être que les dimensions spatiales sont à considérer de façon conjointe au travers de leur covariance, par exemple : la distance entre deux yeux est plus représentative des caractéristiques d’un visage que l’écart des valeurs de leurs coordonnées respectives.

Dans une image se cachent, tout comme en géographie, d’autres variables latentes et parfois dimensionnelles (ex : la profondeur). Au même titre que l’eau est plus souvent au fond des ravins, les ombres d’un visage apparaissent plus souvent dans les creux du visage que sur la pointe de son nez.

Notre travail sur les dimensions 2D et 3D commence donc par un travail sur l’image, puis nous enchaînerons sur d’autres aspects de la spatialité. Retenez également qu’il existe un continuum de pensée entre les dimensions 1D/2D des séries temporelles et les dimensions 2D/3D de l’image, de la géographie, de la propagation des sons ou des ondes. Si bien que les techniques de modélisation, d’optimisation ou de prédiction acquises dans un de ces champs d’investigation sont utiles dans les autres (moyennant quelques changements de vocabulaire et de contrainte).

Comment créer un échantillon : LHS (hypercube latin)

Pour créer un échantillonnage efficace, en particulier quand le problème possède de nombreuses dimensions, il est tentant de fabriquer un échantillonnage où on retrouve un minimum d’interactions entre les variables. Évidemment, ce type d’échantillonnage est d’autant plus utile que l’on soupçonne une faible covariance entre celles-ci, car ce mode d’échantillonnage ne va pas facilement aider à capturer l’effet des interactions entre variables.

Dans le cas des problèmes en petite dimension (2D, 3D) mais avec beaucoup de points par paquet d’observations (image, géographie...), ces méthodes d’échantillonnage trouvent également tout leur sens.

Les joueurs d’échecs connaissent le problème des huit reines sur un échiquier, qui consiste à poser sur l’échiquier huit reines qui ne seront pas en prise. Les carrés magiques, les sudokus et les huit reines sont des problèmes de construction d’une répartition d’objets sous des contraintes d’interaction précises et souvent minimales.

LHS (Latin Hypercube Sampling) ressemble à un problème de "tours" d’un jeu d’échecs, chaque tour ne devant pas être en prise avec...

Travailler sur des données spatiales

Savoir-faire utiles

require(caret) 
require(party) 
 
set.seed(1)                    
y <- 10*df[,1] +                      # une fonction étrange 
     7* df[,2] * rnorm(nrow(df))+  
     3*sin(df[,3])+ 
     2*sin(df[,4])*runif(nrow(df)) 
y <-  ifelse(y < 7,0,1)               # fabrication de classes  
sum(y)/length(y)                      # % classes 
y <-  factor(y)                       # création facteurs   
 
df_<- data.frame(df,y)                # plus simple pour : 
p          <- createDataPartition(y=df_$y, 
                                  p= 50/100, 
                                  list=FALSE) 
training   <- df_[p,]   
test       <- df_[-p,] 
 
#---------------------------------------------------------------# 
# ctree                                                         # 
m <- ctree(y~.,data=df_)              # arbres 
m 
y.pred <- predict(m,test)      ...

Gradient Boosting et Generalized Boosted Regression

1. Les grands principes

Les principes du boosting et des méthodes de gradient ont déjà été présentés dans les chapitres précédents (dès le premier chapitre). Nous allons maintenant nous focaliser sur une implémentation pratique, particulièrement facile à manipuler pour des datasets de taille raisonnable comme ceux que vous croiserez dans les concours de data scientist : la Generalized Boosted Regression.

L’objectif d’une régression se formalise sous la forme suivante (cf. chapitre Maîtriser les bases) .

Dans le cas "paramétrique", cela revient à trouver un vecteur de paramètres estimés de la fonction tels que .

Dans le cas non paramétrique, on reste sur la première formulation en fonction du risque et la méthode du gradient s’applique directement sur le risque.

À chaque itération on a dans les deux cas .

Mais dans le cas paramétrique, il est possible d’appliquer la méthode du gradient directement sur les paramètres, ce que l’on ne se prive pas de faire.

Tout cela pose quelques problèmes pratiques. En effet le modèle a tendance à s’overfitter sur l’ensemble des observations (plutôt que de créer une fonction résultante généralisable). Les cas où des observations différentes avec les mêmes valeurs explicatives débouchent sur une réponse différente peuvent déstabiliser la descente de gradient (ce n’est pas pour rien que l’on a mis au point d’autres méthodes d’optimisation telles que celles que nous avons vues plus haut !).

Une conclusion pratique (cf. l’œuvre de Friedman) est de baser la descente...