Ce livre de la collection vBook se compose d'un livre de référence sur la Data Science avec le langage Python, alliant théorie et pratique, pour apprendre à analyser des données et d’un approfondissement sous forme de vidéo qui présente NumPy et Pandas, deux bibliothèques dédiées à la Data Science et à la visualisation de données.

Livre Python pour la Data Science - Analysez vos données avec NumPy, Pandas, Matplotlib et Seaborn
Ce livre sur la Data Science avec le langage Python, alliant théorie et pratique, s’adresse aussi bien aux étudiants et professionnels (ingénieurs, chercheurs, enseignants, data scientists), qu’aux informaticiens souhaitant apprendre à analyser des données avec Python.

La première partie du livre vise à introduire le langage Python et son utilisation dans le domaine de l’analyse de données. Le lecteur y découvre la mise en place de l’environnement de travail ainsi que des rappels sur le langage Python.

Dans une deuxième partie, le lecteur apprend à manipuler efficacement ses données grâce aux librairies NumPy et Pandas. Chaque notion est introduite théoriquement puis illustrée par un exemple concret permettant de comprendre son application. Il apprend à importer ses données sous Python et à utiliser les fonctions, méthodes et attributs fournis pour les explorer et les manipuler afin d’en faire ressortir des informations et tendances.

Dans une troisième partie, le lecteur apprend à visualiser ses données avec les librairies Matplotlib et Seaborn, lui permettant de comprendre l’architecture et le fonctionnement de la création de figures avec Python, ainsi que les types de graphiques à utiliser selon le type de variables à représenter.

Enfin, dans le dernier chapitre, l’auteur propose un exercice complet avec sa correction permettant de mettre en pratique les notions étudiées. Il permet au lecteur d’écrire le code permettant de répondre aux questions de l’exercice.

Pour chaque chapitre, un fichier contenant le code source utilisé, appelé notebook, est disponible en téléchargement sur le site www.editions-eni.fr. Ce notebook permet au lecteur de tester le code, de le modifier et d’y tester ses propres lignes de code. De plus, deux jeux de données réels sont disponibles en téléchargement et utilisés dans ce livre pour illustrer les propos de l’auteur.

Vidéo Data Science et visualisation de données
L’arrivée du Big Data et la multiplicité des sources de données font que les besoins en matière d’analyse de données deviennent de plus en plus importants.
L’objectif de cette vidéo est de vous montrer comment utiliser le langage Python dans le cadre de la Data Science pour être en mesure d’analyser de gros volumes de données. Nous présenterons NumPy et Pandas, deux bibliothèques dédiées à la Data Science et travaillerons sur la préparation et la visualisation de données.

Téléchargements

• Des fichiers complémentaires (28 353 Ko)

Avant-propos et introduction

1. 1. Avant-propos
2. 2. Python et l'analyse de données
   1. 2.1 L'explosion des données
   2. 2.2 L'analyse de données
   3. 2.3 R et Python pour l'analyse de données
3. 3. Connaître les sources de données libres
   1. 3.1 Kaggle
   2. 3.2 Les données gouvernementales
4. 4. Déroulement du livre

Mise en place de l'environnement de travail

1. 1. Introduction : pourquoi utiliser Python pour la Data Science ?
2. 2. Introduction à IPython et Jupyter
   1. 2.1 Introduction à IPython
   2. 2.2 Le projet Jupyter
3. 3. Qu'est-ce qu'Anaconda ?
4. 4. Installation d'Anaconda
   1. 4.1 Installation sur Windows
   2. 4.2 Installation sur MacOS
   3. 4.3 Installation sur Linux
5. 5. Découverte d'Anaconda Navigator
   1. 5.1 Applications disponibles dans Anaconda Navigator
   2. 5.2 Gestion des packages et environnements
6. 6. Prise en main de Jupyter Notebook
   1. 6.1 Tableau de bord de Jupyter Notebook
   2. 6.2 Premiers pas avec les notebooks
   3. 6.3 Comprendre l'interface des notebooks
      1. 6.3.1 La barre de menus
      2. 6.3.2 La barre d'outils
      3. 6.3.3 Les cellules
      4. 6.3.4 Les modes Commande et Edition et les raccourcis-clavier
      5. 6.3.5 Les bases du langage Markdown pour écrire dans un notebook
      6. 6.3.6 Partager son notebook
7. 7. Les packages Python essentiels pour la Data Science
   1. 7.1 NumPy
   2. 7.2 Pandas
   3. 7.3 Matplotlib
   4. 7.4 Seaborn

Rappels sur le langage Python

1. 1. Introduction sur le langage de programmation Python
2. 2. Les variables
3. 3. Les différents types de données (int, float, bool, str)
   1. 3.1 Les nombres réels et entiers
   2. 3.2 Les booléens
   3. 3.3 Les chaînes de caractères
4. 4. Les structures de données basiques (listes, tuples et dictionnaires)
   1. 4.1 Les listes
      1. 4.1.1 Créer une liste
      2. 4.1.2 Accéder aux éléments d'une liste
      3. 4.1.3 Ajouter et supprimer des éléments à une liste
   2. 4.2 Les tuples
   3. 4.3 Les dictionnaires
      1. 4.3.1 Introduction aux dictionnaires
      2. 4.3.2 Ajouter, modifier et supprimer des éléments d'un dictionnaire
      3. 4.3.3 Parcourir un dictionnaire
5. 5. Les opérateurs arithmétiques, relationnels et logiques
   1. 5.1 Les opérateurs arithmétiques
   2. 5.2 Les opérateurs relationnels et logiques
      1. 5.2.1 Les opérateurs relationnels
      2. 5.2.2 Les opérateurs logiques
6. 6. Vocabulaire en Python : fonctions, méthodes, attributs, modules et librairies (packages)
   1. 6.1 Fonctions
   2. 6.2 Méthodes
   3. 6.3 Attributs
   4. 6.4 Modules
   5. 6.5 Librairies (packages)
7. 7. Instructions de condition if et boucles for
   1. 7.1 Instruction de condition if
   2. 7.2 Boucle for

Maîtriser la librairie NumPy

1. 1. Introduction à NumPy
2. 2. Les tableaux NumPy
   1. 2.1 Créer un ndarray
      1. 2.1.1 Créer un ndarray à partir de listes
      2. 2.1.2 Créer un ndarray grâce à des fonctions NumPy
      3. 2.1.3 Créer un ndarray à partir d'un fichier
   2. 2.2 Indexation
      1. 2.2.1 Indexation simple
      2. 2.2.2 Indexation booléenne
      3. 2.2.3 Fancy indexing
   3. 2.3 Accéder aux éléments par tranche (slicing)
      1. 2.3.1 Slicing sur un tableau NumPy à 1 dimension
      2. 2.3.2 Slicing sur un tableau NumPy à 2 dimensions
   4. 2.4 Notion de vue et copie
3. 3. Les opérations mathématiques avec NumPy
   1. 3.1 Les opérations arithmétiques
   2. 3.2 Les fonctions d'agrégations
4. 4. Inspecter un tableau grâce aux attributs de NumPy
5. 5. Manipuler des tableaux NumPy
   1. 5.1 Ajouter et supprimer des éléments dans un tableau
      1. 5.1.1 Ajouter des éléments dans un tableau
      2. 5.1.2 Supprimer des éléments d'un tableau
   2. 5.2 Diviser un tableau NumPy (split, hsplit et vsplit)
      1. 5.2.1 Sur un tableau à une dimension
      2. 5.2.2 Sur un tableau à deux dimensions
   3. 5.3 Concaténer/combiner des tableaux
      1. 5.3.1 La fonction concatenate()
      2. 5.3.2 Les fonctions vstack() et hstack()
6. 6. Introduction aux matrices avec NumPy

Maîtriser la librairie Pandas

1. 1. Introduction
   1. 1.1 Introduction à la librairie Pandas
   2. 1.2 Introduction au jeu de données utilisé pour les exemples
2. 2. Lire et écrire des fichiers avec Pandas
   1. 2.1 Lecture de fichiers texte (CSV ou TXT)
      1. 2.1.1 Lecture basique d'un fichier
      2. 2.1.2 Gestion de l'en-tête
      3. 2.1.3 Gestion des index
      4. 2.1.4 Création d'un tableau à une dimension à partir du fichier
      5. 2.1.5 Filtrage des colonnes lors de la lecture du fichier
      6. 2.1.6 Les types des différentes colonnes
      7. 2.1.7 Gestion des dates lors de la lecture du fichier
   2. 2.2 Lecture de fichiers Excel
   3. 2.3 Importation des données à partir d'une base de données
   4. 2.4 Lecture de fichiers au format JSON
   5. 2.5 Écriture de fichiers ou exportation de données
3. 3. Structure de données Pandas : les Series (Séries)
   1. 3.1 Introduction
   2. 3.2 Créer des séries
      1. 3.2.1 À partir de valeurs aléatoires
      2. 3.2.2 À partir d'une liste Python
      3. 3.2.3 À partir d'un tableau NumPy (ndarray)
      4. 3.2.4 À partir d'un fichier texte
   3. 3.3 Choisir l'index d'une série
   4. 3.4 Accéder aux valeurs d'une série
      1. 3.4.1 Indexing via la position des valeurs
      2. 3.4.2 Indexing via l'étiquette des valeurs
      3. 3.4.3 Les indexeurs loc et iloc
      4. 3.4.4 Indexing via une expression booléenne
      5. 3.4.5 Slicing : découpage de valeurs successives
   5. 3.5 Les attributs et les méthodes des objets de classe Series
      1. 3.5.1 Les attributs des objets de classe Series
      2. 3.5.2 Les méthodes des objets de classe Series
   6. 3.6 Ajouter, supprimer et modifier les valeurs d'une série
      1. 3.6.1 Ajouter des valeurs à une série
      2. 3.6.2 Supprimer une valeur d'une série
      3. 3.6.3 Modifier les valeurs d'une série
4. 4. Structure de données Pandas : les objets de type DataFrame
   1. 4.1 Introduction
   2. 4.2 Indexing : sélectionner des valeurs d'un dataframe
      1. 4.2.1 Indexing et slicing avec l'attribut loc
      2. 4.2.2 Indexing et slicing avec l'attribut iloc
      3. 4.2.3 Indexing avec une expression booléenne
   3. 4.3 Ajout, suppression et modification sur un dataframe
      1. 4.3.1 Ajouter une ou plusieurs colonnes à un dataframe
      2. 4.3.2 Ajouter une ligne à un dataframe
      3. 4.3.3 Supprimer des lignes ou colonnes d'un dataframe
      4. 4.3.4 Modifier des valeurs dans un dataframe
   4. 4.4 Nettoyage et préparation des données avec Pandas
      1. 4.4.1 Gestion des données manquantes
      2. 4.4.2 Gestion des données dupliquées
   5. 4.5 Exploration préliminaire d'un dataframe
      1. 4.5.1 Principaux attributs
      2. 4.5.2 Définition des termes variable, variable quantitative et variable qualitative et découverte de la méthode describe()
      3. 4.5.3 Méthodes de tri d'un dataframe
5. 5. Structure de données Pandas : les panels
6. 6. Manipulation avancée des données avec Pandas
   1. 6.1 Les opérations groupby
      1. 6.1.1 groupby sur une colonne
      2. 6.1.2 groupby sur plusieurs colonnes
      3. 6.1.3 Appliquer plusieurs fonctions avec la méthode groupby et la méthode aggregate
   2. 6.2 Appliquer une fonction à un dataframe avec la méthode apply
   3. 6.3 Remodeler/réorganiser des dataframes
      1. 6.3.1 Pivotage : la méthode pivot_table
      2. 6.3.2 Les méthodes stack (empiler) et unstack (désempiler)

Maîtriser la librairie Matplotlib

1. 1. Introduction
2. 2. Le fonctionnement de Matplotlib
   1. 2.1 Architecture de Matplotlib
   2. 2.2 Organisation des figures avec Matplotlib
3. 3. La création d'un premier graphique simple
   1. 3.1 Préparer son jeu de données
   2. 3.2 Créer un nuage de points
   3. 3.3 Ajouter un titre principal et des labels aux axes du nuage de points
   4. 3.4 Enregistrer son graphique
   5. 3.5 Changer la taille de la fenêtre graphique et la résolution de son graphique
   6. 3.6 Tracer plusieurs courbes sur un même graphique (sur un même objet axes)
   7. 3.7 Ajouter une légende à son graphique
   8. 3.8 Annoter son graphique avec du texte
   9. 3.9 Combiner plusieurs graphiques grâce à subplot et subplots
      1. 3.9.1 Tracer des sous-graphiques (subplot) sur une ligne ou une colonne
      2. 3.9.2 Tracer des sous-graphiques sur plusieurs lignes et plusieurs colonnes
      3. 3.9.3 Incruster un objet axes dans un autre
4. 4. Les différents types de graphes
   1. 4.1 Types de graphiques selon les types de variables (quantitatives et qualitatives)
   2. 4.2 Scatterplot
   3. 4.3 Graphique à barres (bargraph)
      1. 4.3.1 Graphique à barres simple
      2. 4.3.2 Graphique à barres groupées
      3. 4.3.3 Graphique à barres empilées
   4. 4.4 Boxplots

Maîtriser la librairie Seaborn

1. 1. Introduction
2. 2. L'esthétique des figures avec Seaborn (Aesthetic)
   1. 2.1 Paramétrer les styles Seaborn (thèmes)
   2. 2.2 Supprimer les axes
   3. 2.3 Paramétrer les contextes avec Seaborn
   4. 2.4 Les palettes de couleur avec Seaborn
      1. 2.4.1 Choisir une palette de couleurs existante
      2. 2.4.2 Créer sa propre palette de couleurs
3. 3. Les différents types de graphiques
   1. 3.1 Préparation du jeu de données
   2. 3.2 Nuage de points (scatterplot)
   3. 3.3 Graphiques de régression
   4. 3.4 Pointplot
   5. 3.5 Nuage de points avec une variable qualitative : stripplot
   6. 3.6 Boxplots
   7. 3.7 Graphique à barres : countplot
   8. 3.8 Histogrammes
   9. 3.9 Jointplot
   10. 3.10 Pairplot
   11. 3.11 Heatmap
4. 4. Les graphiques multi-grilles
   1. 4.1 FacetGrid
   2. 4.2 PairGrid
   3. 4.3 JointGrid
5. 5. Conclusion

Exercice complet sur jeu de données réel

1. 1. Introduction
2. 2. Présentation du jeu de données
3. 3. Énoncé de l'exercice
   1. 3.1 Lire le fichier
   2. 3.2 Afficher les dimensions du dataframe
   3. 3.3 Compter les films et les séries
   4. 3.4 Générer le résumé statistique du dataframe
   5. 3.5 Compter les valeurs manquantes
   6. 3.6 Explorer les valeurs manquantes
      1. 3.6.1 Sur la colonne des directeurs de production
      2. 3.6.2 Sur la colonne des acteurs
   7. 3.7 Supprimer les lignes dupliquées
   8. 3.8 Compter les films/séries produits par les États-Unis et par la France
   9. 3.9 Afficher le contenu le plus vieux disponible sur Netflix
   10. 3.10 Afficher le film avec la durée la plus longue sur Netflix
       1. 3.10.1 Nouvelle notion : les méthodes str
       2. 3.10.2 Énoncé
   11. 3.11 Étudier les catégories avec le plus de contenu
   12. 3.12 Afficher les directeurs qui ont produit le plus de films/séries disponibles sur Netflix
   13. 3.13 Voir si Jan Suter travaille souvent avec les mêmes acteurs
   14. 3.14 Représenter les dix pays qui ont produit le plus de contenus disponibles sur Netflix, avec le nombre de contenus par pays
   15. 3.15 Tracer un graphe à barres du nombre de films/séries par classement de contenu (rating)
   16. 3.16 Afficher l'évolution du nombre de films/séries disponibles sur Netflix au cours du temps
       1. 3.16.1 Notions supplémentaires sur les dates
       2. 3.16.2 Énoncé
   17. 3.17 Afficher la distribution de la durée des films disponibles sur Netflix
   18. 3.18 Tracer un graphique représentant le nombre de séries par modalité de nombre de saisons
   23. Index