Cet ouvrage s’adresse à toutes les personnes désireuses de comprendre et développer des applications de traitement d’images basées sur le deep learning. Il fournit non seulement une base théorique solide, mais également des informations très pratiques, des « trucs et astuces » et des exemples sous forme de scripts Python basés sur TensorFlow.

Après une introduction à l'intelligence artificielle, le matériel et les logiciels nécessaires à sa pratique sont détaillés. Suivent ensuite des explications progressives des réseaux de neurones convolutionnels, en décrivant tout d’abord les classifieurs linéaires, puis les réseaux de neurones profonds, et enfin les réseaux convolutionnels. Ces trois chapitres sont accompagnés de scripts Python utilisant TensorFlow, et suivis d’astuces pour améliorer la performance et limiter les biais potentiels du réseau et l’impact carbone lié à son apprentissage et son utilisation. L'apprentissage par transfert, qui consiste à adapter un réseau pré-entraîné à une nouvelle tâche, est ensuite présenté, et accompagné d’un exemple basé sur TensorFlow.

Les chapitres suivants décrivent les réseaux convolutionnels appliqués à d'autres tâches que la classification, comme la détection et la segmentation. Ces chapitres sont accompagnés de scripts présentant l’utilisation des bibliothèques TensorFlow Object Detection et de l'architecture Unet.

Le lecteur trouve une description de plusieurs méthodes permettant de visualiser le fonctionnement du réseau et d’améliorer son explicabilité, puis cet ouvrage explique pourquoi surveiller les performances d’un modèle après son déploiement, et comment organiser une telle surveillance en pratique. Le script accompagnant ce chapitre décrit le fonctionnement de la librairie tf_explain, qui implémente plusieurs des méthodes présentées.

Vient ensuite un exposé des critères définis par la Commission européenne pour juger qu’un modèle d'intelligence artificielle est "responsable", et une traduction de ces critères en bonnes pratiques à adopter lors du développement et du déploiement.

Enfin, le livre conclut avec des conseils pour améliorer vos compétences et vous tenir au courant des évolutions récentes dans le domaine de l'apprentissage profond appliqué au traitement d'images.

Téléchargements

• Des fichiers complémentaires (28 900 Ko)

Introduction

1. Révolution de modèles d'apprentissage profond en traitement d'images
2. Structure du livre
3. Langue utilisée pour les termes techniques

Intelligence artificielle et apprentissage profond

1. Objectifs du chapitre
2. Définitions de l'intelligence artificielle, apprentissage automatique et apprentissage profond
   1. 1. Intelligence artificielle
   2. 2. Apprentissage automatique
   3. 3. Apprentissage profond
3. Fonctionnement général d'un modèle d'apprentissage
   1. 1. Processus d’apprentissage et ingrédients
   2. 2. Processus général de résolutiond’un problème en apprentissage profond
   3. 3. Types de problèmes en traitement d’images
4. Bref historique de l’intelligence artificielle et de l'apprentissage profond
   1. 1. Naissance de l’intelligence artificielle
   2. 2. Apprentissage automatique
   3. 3. Grandes ruptures de 2011
5. Promesses, limites et risques
   1. 1. Apports de l’intelligence artificielle pour le traitement d’images
   2. 2. Limites et risques de l’intelligence artificielle
      1. a. Vision idéalisée des prouesses possibles
      2. b. Bonnes pratiques souvent peu connues et appliquées
      3. c. Généralisabilité limitée
      4. d. Performances limitées par les donnéesd’entraînement
   3. 3. Questions éthiques
   4. 4. Impact carbone et consommation d’eau
6. Conclusion

Outils indispensables à la pratique

1. Objectifs de ce chapitre
2. Ordinateurs et cartes graphiques
   1. 1. GPU et CPU
   2. 2. Taille de la mémoire vive
   3. 3. Investir dans un ordinateur performant ou réalisertous les calculs sur des plateformes déportées ?
3. Jeux de données ouverts
   1. 1. Fondamentaux d’un jeu de données d’entraînement
   2. 2. Avantages d’utiliser un jeu de données ouvert
   3. 3. Ensembles de référence
      1. a. Iris
      2. b. MNIST
      3. c. CIFAR-10
      4. d. Cats vs dogs
      5. e. ImageNet
      6. f. COCO
   4. 4. Où trouver d’autres ensembles de données ?
4. Langages, librairies et frameworks
   1. 1. Python
   2. 2. Librairies spécifiques
   3. 3. Frameworks pour l’apprentissage profond
   4. 4. TensorFlow, Keras et TensorBoard
      1. a. Keras
      2. b. TensorBoard
   5. 5. Jupyter notebook et Google Colab
      1. a. Jupyter notebook
      2. b. Google Colab
5. Comment utiliser les exemples de ce livre ?
   1. 1. Ouvrir les exemples de ce livre dans Google Colab
   2. 2. Ouvrir les exemples de ce livre localement
      1. a. Récupérer le code
      2. b. S’assurer que Python est installé, l’installerle cas échéant
      3. c. Créer un environnement virtuel
      4. d. Activer l’environnement virtuel
      5. e. Installer Jupyter Notebook
      6. f. Installer TensorFlow
      7. g. Ouvrir et exécuter un notebook
6. Conclusion

Classifieurs linéaires

1. Objectifs du chapitre
2. Vocabulaire et notations
   1. 1. Étiquettes
   2. 2. Caractéristiques
   3. 3. Exemples
   4. 4. Modèle
3. Modèle paramétrique du classifieur linéaire
   1. 1. Définition du modèle
   2. 2. Interprétation d’un classifieurlinéaire comme une mise en correspondance avec un motif
   3. 3. Interprétation d’un classifieurlinéaire comme un ensemble de plans de séparation
4. Étapes de l’entraînement
5. Séparation des données
   1. 1. Principe
   2. 2. Proportions
   3. 3. Validation croisée
   4. 4. Types de séparation
      1. a. Séparation aléatoire
      2. b. Séparation stratifiée
      3. c. Séparation groupée
   5. 5. Mise en œuvre de la séparation desdonnées avec la bibliothèque scikit-learn
      1. a. Validation croisée
      2. b. Séparation aléatoire
      3. c. Séparation stratifiée
      4. d. Séparation groupée
6. Optimisation des paramètres
   1. 1. Fonction-coût
      1. a. Erreur quadratique moyenne
      2. b. Softmax et entropie croisée
      3. c. Entropie croisée binaire
   2. 2. Descente de gradient
      1. a. Définition
      2. b. Descente de gradient stochastique et par lots
7. Métriques permettant d'évaluer un modèle de classification
   1. 1. Classification binaire
      1. a. Matrice de confusion
      2. b. Justesse
      3. c. Sensibilité et spécificité,précision et rappel
      4. d. Score F1
      5. e. Courbe précision-rappel
      6. f. Courbe ROC
   2. 2. Classification multiclasse
8. De l’apprentissage automatique aux réseaux de neurones
   1. 1. Sélection automatique des caractéristiques
   2. 2. Ajout de non-linéarité
9. Exemple pratique : entraîner un classifieur linéaire à distinguer les chats des chiens
10. Conclusion

Réseaux de neurones profonds

1. Objectifs du chapitre et prérequis
2. Neurone formel
   1. 1. Définition du neurone formel
   2. 2. Neurone formel comme la généralisationdes classifieurs linéaires
   3. 3. Neurone formel comme la modélisation d’unneurone biologique
3. Réseaux de neurones profonds
   1. 1. Fonctionnement d’un réseau de neurones profond
   2. 2. Intérêt des réseaux deneurones profonds
   3. 3. Spécifier un réseau de neuronesdans Keras
4. Étapes de l'apprentissage des réseaux de neurones profonds
5. Optimisation des poids
   1. 1. Descente de gradient
   2. 2. Calcul du gradient
   3. 3. Descente de gradient par rétropropagation
   4. 4. Inconvénients de la descente de gradient
   5. 5. Variantes de la descente de gradient
      1. a. Descente de gradient avec inertie
      2. b. AdaGrad
      3. c. RMSProp
      4. d. ADAM
   6. 6. Optimiser les poids dans TensorFlow avec Keras
      1. a. Compilation du modèle
      2. b. Entraînement du modèle
      3. c. Surveiller le processus d’entraînement avecTensorBoard
6. Fonctions d’activation
   1. 1. Caractéristiques des fonctions d’activation
   2. 2. Fonctions d’activation courantes
   3. 3. Spécifier une fonction d’activation dansKeras
7. Surapprentissage
   1. 1. Définition
   2. 2. Détection du surapprentissage par visualisationde la courbe d’apprentissage
   3. 3. Quatre pistes pour limiter le surapprentissage
      1. a. Augmentation de la quantité de données
      2. b. Diminution de la complexité du modèle
      3. c. Interruption prématurée de l’entraînement
      4. d. Extinction de neurones
8. Sélection des hyperparamètres
   1. 1. Différents types d’hyperparamètres
   2. 2. Ordre et stratégie de sélectiondes hyperparamètres
   3. 3. Sélection du taux d’apprentissage
      1. a. Diagnostic du taux d’apprentissage d’aprèsla courbe d’apprentissage
      2. b. Stratégie de sélection du taux d’apprentissage
      3. c. Décroissance du taux d’apprentissage
   4. 4. Sélection des hyperparamètres enpratique
   5. 5. Sélection automatique des hyperparamètres
9. De la création à l'entraînement d'un réseau de neurones profond avec Keras
10. Conclusion

Réseaux de neurones à convolution

1. Objectifs du chapitre et prérequis
2. Motivation, historique et applications des réseaux de neurones à convolution
   1. 1. Motivation
   2. 2. Historique
      1. a. Structure inspirée par le fonctionnementdu cortex visuel
      2. b. Du premier réseau aux réseaux deneurones modernes
      3. c. Réseaux modernes
3. Fonctionnement détaillé de chaque type de couche
   1. 1. Architecture générale d’un réseaude neurones à convolution
   2. 2. Couches de convolution
      1. a. Fonctionnement d’un filtre de convolution
      2. b. Signification de la convolution
      3. c. Valeurs aux bords
      4. d. Images couleur
      5. e. Définition du pas d’un filtre de convolution
      6. f. Organisation des filtres de convolution dans la couchede convolution
      7. g. Ajouter une couche de convolution à un modèleséquentiel dans Keras
      8. h. Couche de convolution en résumé
   3. 3. Couche d’activation
      1. a. Principe
      2. b. Ajouter une couche d’activation à un modèleséquentiel dans Keras
   4. 4. Couches d’agrégation
      1. a. Principe
      2. b. Ajouter une couche d’agrégation à unmodèle séquentiel dans Keras
   5. 5. Couche d’extinction de neurones
      1. a. Principe
      2. b. Ajouter une couche d’extinction de neurones dans Keras
   6. 6. Couche de normalisation par lots
      1. a. Principe
      2. b. Ajouter une couche de normalisation par lots dans Keras
   7. 7. Couche complètement connectée
      1. a. Principe
      2. b. Ajouter une couche complètement connectéedans Keras
   8. 8. Résumé des différents typesde couches
   9. 9. Architecture classique d’un réseaude neurones
   10. 10. Interprétation d’un réseau convolutionnel
4. Étapes de l'apprentissage des réseaux de neurones convolutionnels
5. Sélection des hyperparamètres
   1. 1. Liste des hyperparamètres et stratégiede sélection
   2. 2. Choix de la structure du réseau
      1. a. Facteur de sous-échantillonnage et nombrede couches
      2. b. Taille des filtres
   3. 3. Choix de la taille de lot
6. Prétraitement des images
   1. 1. Augmentation de données
   2. 2. Normalisation
7. Mise en pratique : créer et entraîner un réseau de neurones avec Tensorflow et Keras
8. Conclusion

Bonnes pratiques pour l'entraînement

1. But du chapitre et prérequis
2. Objectifs des bonnes pratiques
3. Améliorer la performance
   1. 1. Avant toute chose, définir la performancenécessaire
   2. 2. Tour d’horizon des actions à mener lorsquele réseau ne présente pas les performances attendues
   3. 3. Vérification de l’implémentation :bonnes pratiques et surapprentissage programmé
   4. 4. Gestion des classes déséquilibrées
   5. 5. Surveiller et limiter le surapprentissage
   6. 6. Utiliser des ensembles de modèles
   7. 7. Comment choisir le réseau le plus performant?
4. Encourager la généralisabilité
5. Assurer la reproductibilité de l'entraînement
6. Limiter le biais
   1. 1. Définition et origine des biais
   2. 2. Des jeux de données biaisés pardéfaut
   3. 3. Une amplification des biais présents dansles données d’entraînement
   4. 4. Anticiper les biais éventuels
   5. 5. Limiter les biais anticipés avant l’entraînement
   6. 6. Détecter et corriger les biais éventuelsdu modèle entraîné
   7. 7. Comment faire s’il est impossible de construire unjeu de données non biaisé ?
7. Impact carbone et consommation d'eau de l'apprentissage profond
   1. 1. Impact grandissant
   2. 2. Questionner l’utilité du modèleavant son développement, et à chaque étape
   3. 3. Limiter la consommation électrique
   4. 4. Sensibiliser les protagonistes à l’impactcarbone de l’apprentissage profond
8. Conclusion

Adapter un réseau existant

1. Objectifs du chapitre et prérequis
2. Apprentissage par transfert
   1. 1. Principe et motivation
   2. 2. Fonctionnement détaillé
   3. 3. Où trouver des modèles pré-entraînés ?
   4. 4. Comment choisir quel modèle utiliser ?
      1. a. Deux critères de choix : la complexité etla précision
      2. b. Sources d’informations pour la complexité etla performance sur le jeu de données original
3. Réseaux classiques
   1. 1. AlexNet
      1. a. Architecture
      2. b. Amélioration des performances d’AlexNet :augmentation de données et ensemble de modèles
   2. 2. VGG
      1. a. Réseaux plus profonds
      2. b. Architecture de VGG
      3. c. Différences entre AlexNet et VGG et motivations
   3. 3. GoogLeNet
      1. a. Présentation générale
      2. b. Module d’inception
      3. c. Agrégation par moyennage global
      4. d. Classifieurs auxiliaires
      5. e. Architecture globale
      6. f. Autres versions
   4. 4. ResNet
      1. a. Révolution de la profondeur
      2. b. Connexions résiduelles
      3. c. Architecture de ResNet
      4. d. InceptionResNet
      5. e. DenseNet
   5. 5. EfficientNet
      1. a. Présentation générale
      2. b. Mise à l’échelle combinée
      3. c. Blocs résiduels inversés
      4. d. Architecture d’EfficientNet-B0
   6. 6. Comparaison des performances
4. Exercice pratique : améliorer notre classifieur de chats et chiens
5. Conclusion

Détection

1. But du chapitre et prérequis
2. Définition de la détection et spécificités
   1. 1. Définition de la détection
   2. 2. Apport de l’apprentissage profond pour la détection
   3. 3. Spécificités de la détection
3. Métriques de la détection
   1. 1. Indice de Jaccard
   2. 2. Vrais et faux positifs, faux négatifs
   3. 3. Précision, rappel et score F1
   4. 4. Courbe de rappel de précision et moyennede la précision moyenne
   5. 5. Images par seconde
   6. 6. Résumé des métriques dela détection
4. Ingrédients généraux des réseaux de détection
   1. 1. Localisation et classification
   2. 2. Représentation des détections
      1. a. Ancres
      2. b. Images matricielles
   3. 3. Fonctions-coût
      1. a. Format général
      2. b. Fonction-coût de localisation
      3. c. Fonction-coût de classification
5. Réseaux basés sur la proposition de régions
   1. 1. Premières versions
   2. 2. Faster R-CNN
      1. a. Architecture générale
      2. b. Réseau de base
      3. c. Détection
      4. d. Suppression des régions non optimales
      5. e. Réseau de convolution basé sur lesrégions
      6. f. Suppression des régions non optimales
      7. g. Entraînement et fonction-coût
   3. 3. Performances et coût de calcul
6. Réseaux en une seule passe basés sur des ancres
   1. 1. YOLO
      1. a. Principe général
      2. b. Boîtes englobantes préliminaires
      3. c. Couches de détection
      4. d. Détection multiéchelle
      5. e. Architecture complète du réseau
      6. f. Sortie du réseau
      7. g. Post-traitement
      8. h. Fonction-coût
      9. i. Limitations
      10. j. Autres versions
      11. k. YOLOv7
   2. 2. SSD
      1. a. Présentation
      2. b. Architecture globale
      3. c. Fonction-coût
   3. 3. RetinaNet
      1. a. Perte focale
      2. b. Architecture de RetinaNet
7. Réseaux en une seule passe n'utilisant pas d'ancres
   1. 1. Problèmes des ancres
   2. 2. CenterNet
      1. a. Représentation de la vérité terrain
      2. b. Architecture
      3. c. Fonctions de perte
      4. d. Performance du réseau
   3. 3. FCOS
8. Comparaison des réseaux de détection
   1. 1. Récapitulatif des réseaux rencontrés
   2. 2. Comparaison des performances
   3. 3. Comment choisir un réseau de détection ?
9. API de détection d'objet de TensorFlow
10. Conclusion

Segmentation

1. But du chapitre et prérequis
2. Segmentation sémantique, d'instances et panoptique
   1. 1. Différents types de segmentation
   2. 2. Apport de l’apprentissage profond pour la segmentation
   3. 3. Difficultés de la segmentation
3. Métriques de la segmentation
   1. 1. Justesse
   2. 2. Indice de Jaccard
   3. 3. Coefficient de Dice
   4. 4. Vrais positifs, faux positifs et faux négatifs
   5. 5. Précision, rappel et score F1
   6. 6. Résumé des différentesmétriques
4. Fonctions-coût
   1. 1. Erreur de classification
      1. a. Entropie croisée
      2. b. Perte de Dice
   2. 2. Erreur de détection
5. Segmentation sémantique par U-Net
   1. 1. Architecture
      1. a. Contraction et expansion
      2. b. Connexions
      3. c. Types de couches
   2. 2. Suréchantillonnage
      1. a. Suréchantillonnage par convolution transposée
      2. b. Remplissage
      3. c. Pas
      4. d. Gestion de la profondeur
      5. e. Effets d’échiquier
   3. 3. Dimensions et détails
   4. 4. Architectures dérivées de U-Net
   5. 5. nnU-Net
6. Segmentation d’instances
   1. 1. Mask R-CNN
      1. a. Rappel de l’architecture de Faster R-CNN
      2. b. Architecture de Mask R-CNN
      3. c. Fonction-coût
      4. d. Avantages et limites
   2. 2. YOLACT
      1. a. Rappel de l’architecture de YOLO
      2. b. Principe de YOLACT
      3. c. Séparation de la segmentation en deux opérationsplus simples
      4. d. Réseau de pyramide de caractéristiques
      5. e. Architecture globale
      6. f. Fonction-coût
      7. g. Avantages et limites
7. Segmentation panoptique
   1. 1. Principe global
   2. 2. EfficientPS
      1. a. Principe
      2. b. Fusion des segmentations sémantique et d’instances
   3. 3. Défis de la segmentation panoptique
8. Choisir et trouver un modèle de segmentation
9. Exercice pratique : implémentation, entraînement et application de U-Net
10. Conclusion

Applications spécifiques

1. But du chapitre et prérequis
2. Des réseaux très polyvalents
3. Amélioration d'images
   1. 1. Principe de la restauration d’images
   2. 2. Principe général de la restaurationd’images avec des réseaux de neurones convolutionnels
   3. 3. Fonctions-coût
      1. a. Erreur quadratique moyenne
      2. b. Erreur moyenne absolue
      3. c. Indice de similarité structurale
4. Régression
   1. 1. Définition de la régression et exemplesd’applications
   2. 2. Fonctionnement
5. Utilisation d'informations hétérogènes
   1. 1. Applications
   2. 2. Concaténation directe des informations
   3. 3. Concaténation des caractéristiquesissues des images et des autres informations
   4. 4. Ajout d’un canal à l’image
6. Conclusion

Ouvrir la boîte noire

1. But du chapitre et prérequis
2. Pourquoi ouvrir la boîte noire ?
3. Visualiser directement le modèle entraîné
   1. 1. Poids des filtres
   2. 2. Cartes d’activation
4. Réduire la dimension de la représentation latente de l'image
   1. 1. Représentation latente de l’image
   2. 2. Réduction de dimension par t-SNE
   3. 3. Visualisation des représentations latentesavec t-SNE
5. Visualiser les pixels importants
   1. 1. Occlusion
   2. 2. LIME
   3. 3. Grad-CAM
   4. 4. Gradients intégrés
   5. 5. Autres méthodes de déterminationdes pixels importants
6. Visualiser les modèles de classe ou de neurone
   1. 1. Visualisation de modèle de classe
   2. 2. Visualisation de modèle de neurone
7. Explicabilité des réseaux de segmentation et de détection
   1. 1. Prévalence des méthodes d’explicabilité pourla classification
   2. 2. Visualisation du fonctionnement du réseauencodeur
   3. 3. Visualisation des pixels importants
      1. a. Visualisation des pixels importants pour la segmentation
      2. b. Explicabilité des réseaux de détection
8. Bibliothèques et paquets pour l'explicabilité
9. Exemple d'utilisation de la bibliothèque tf_explain
10. Conclusion

Maintenance après déploiement du modèle

1. But du chapitre et prérequis
2. Dérive du modèle
3. Causes de la baisse de performance
   1. 1. Modification des images
   2. 2. Modification des étiquettes
   3. 3. Biais
4. Détecter et quantifier la dérive
   1. 1. Surveillance des images
      1. a. Inspection visuelle
      2. b. Distance de Fréchet
      3. c. Appliquer la distance de Fréchet en pratique
      4. d. Entraînement d’un classifieur binaire
      5. e. Conclusion à propos de la surveillance desimages
   2. 2. Surveillance des prédictions
      1. a. Surveillance de la répartition des classesprédites
      2. b. Comparaison de la distribution des prédictions à leurdistribution attendue
   3. 3. Surveillance de la performance
   4. 4. Conclusion sur la détection de la dériveglobale
   5. 5. Surveillance spécifique du biais
5. Corriger ou compenser la dérive
   1. 1. Réentraînement périodique
   2. 2. Modèles spécifiques
6. Conclusion

Intelligence artificielle responsable

1. But du chapitre et prérequis
2. Sept principes majeurs de l'IA responsable
3. Régulation officielle pour le futur proche
   1. 1. AI Act
   2. 2. Produits interdits
   3. 3. Produits réglementés
   4. 4. Autres produits
4. Facteur humain et contrôle humain
5. Robustesse technique et sécurité
   1. 1. Robustesse technique
   2. 2. Sécurité
6. Respect de la vie privée et gouvernance des données
7. Transparence
8. Diversité, non-discrimination et équité
9. Bien-être sociétal et environnemental
10. Responsabilisation
11. Conclusion

Conclusion

1. Ce que vous avez appris
2. Pour aller plus loin
   1. 1. S’entraîner sur des cas pratiques
   2. 2. Élargir ses connaissances théoriques
   3. 3. Se tenir au courant des dernières avancéesthéoriques et pratiques