Ce support sur la Business Intelligence avec Python est un guide complet qui plonge les lecteurs dans l’univers de l’analyse de don­nées d’entreprise. Tout en mettant l’accent sur l’aspect pratique et opérationnel de la BI, il se distingue par son approche globale, couvrant l’ensemble du processus de BI, de la collecte des données brutes à la création de tableaux de bord pour une prise de décision éclairée, en passant par l’analyse et la visualisation de données. Il constitue une ressource indispensable pour les professionnels de la data, les analystes et les étudiants désireux d’acquérir des com­pétences pratiques en BI pour maîtriser l’art de transformer les données en insights stratégiques à l’aide de Python.

L’ouvrage débute par une introduction aux fondamentaux de la BI et explique pourquoi Python est devenu un outil incontournable dans ce domaine. Il guide ensuite le lecteur à travers l’installation et la configuration d’un environnement de développement robuste, en mettant l’accent sur les bonnes pratiques de codage et de gestion de projet.

Les chapitres suivants abordent en profondeur les aspects essen­tiels de la BI avec Python :

• l’extraction et le nettoyage des données à partir de diverses sources (fichiers, bases de données, API, web scraping) ;

• l’analyse statistique approfondie, incluant des techniques descriptives et inférentielles ;

• la conception et l’implémentation de data warehouses ;

• l’automatisation des pipelines de données avec des outils comme Airflow et Luigi ;

• la création de tableaux de bord interactifs et de rapports percutants avec Streamlit, Taipy et Dash ;

• et les considérations éthiques, de sécurité et de conformité au RGPD dans les projets de BI.

Chaque chapitre est enrichi d’exemples concrets, de cas d’études et d’exercices pratiques, permettant aux lecteurs de mettre immé­diatement en application les concepts appris.

Téléchargements

• Des fichiers complémentaires (234 031 Ko)

Avant-propos

1. 1. Introduction
2. 2. À qui s'adresse ce livre ?
3. 3. Objectifs et approche
4. 4. Ce que n'est pas Business Intelligence avec Python
5. 5. Structure et progression
6. 6. Ce que vous apprendrez
7. 7. En conclusion

Python comme principal outil de BI

1. 1. Qu'est-ce que la Business Intelligence ?
   1. 1.1 Définition et évolution
   2. 1.2 Composantes clés de la Business Intelligence
   3. 1.3 Avantages et évolution de la Business Intelligence
   4. 1.4 Approche programmatique de la BI
2. 2. Pourquoi Python ?
   1. 2.1 Préambule
   2. 2.2 Tendances
3. 3. Python pour la Business Intelligence
4. 4. Quels avantages à utiliser Python pour la Business Intelligence ?
5. 5. Installation de votre environnement
   1. 5.1 Installation de Python
      1. 5.1.1 Quelle version de Python choisir ?
      2. 5.1.2 Installation sous Ubuntu
      3. 5.1.3 Installation sous Windows 11
      4. 5.1.4 Installation Windows 11 sans droits administrateur
   2. 5.2 Choix d'un IDE
      1. 5.2.1 Exploration de données avec Jupyter Notebooks
      2. 5.2.2 Environnements de développement intégré (IDE) pour la production
6. 6. Quelques bonnes pratiques avant de débuter
   1. 6.1 Versionnage
      1. 6.1.1 Création de votre repository
      2. 6.1.2 Clonage du repository
      3. 6.1.3 Ajout de fichiers et commit
      4. 6.1.4 Création de branches
      5. 6.1.5 Pull requests
   2. 6.2 Structurer votre projet
   3. 6.3 Écrire du code propre et maintenable
      1. 6.3.1 Bonnes pratiques de formatage et de syntaxe
      2. 6.3.2 Documentation automatique
      3. 6.3.3 Environnements virtuels
      4. 6.3.4 Logging avec Python
      5. 6.3.5 Testez votre code
      6. 6.3.6 Débogage
      7. 6.3.7 Intégration continue avec GitHub Actions

Extraire vos données depuis n'importe quelle source

1. 1. Présentation de la librairie pandas
   1. 1.1 Qu'est-ce qu'un DataFrame ?
   2. 1.2 Structure d'un DataFrame
   3. 1.3 Principaux attributs d'un DataFrame
      1. 1.3.1 Attribut shape
      2. 1.3.2 Attribut columns
      3. 1.3.3 Attribut index
      4. 1.3.4 Attribut dtypes
      5. 1.3.5 Méthodes head() et tail()
2. 2. Fichiers plats ou autres formats structurés
   1. 2.1 CSV, TXT et TSV
   2. 2.2 XLS, XLSX
   3. 2.3 JSON
   4. 2.4 XML
   5. 2.5 PDF
   6. 2.6 Cas particulier des données tabulaires stockées sous forme d'images
3. 3. Bases de données relationnelles
   1. 3.1 Qu'est-ce qu'une base de données relationnelle ?
   2. 3.2 Quelles sont les bases les plus courantes ?
   3. 3.3 Bases PostgreSQL
   4. 3.4 Bases MySQL
   5. 3.5 Bases SQLite
4. 4. Bases de données NoSQL
   1. 4.1 Qu'est-ce qu'une base de données NoSQL ?
   2. 4.2 Connexion à une base MongoDB
5. 5. Entrepôts de données
   1. 5.1 Qu'est-ce qu'un entrepôt de données ?
   2. 5.2 Choix des solutions NoSQL
   3. 5.3 Connexion aux bases avec Python
      1. 5.3.1 BigQuery
      2. 5.3.2 Snowflake
      3. 5.3.3 Bonnes pratiques
6. 6. Serveurs FTP/SFTP
   1. 6.1 Qu'est-ce que le FTP ?
   2. 6.2 Qu'est-ce que SSH ?
   3. 6.3 Connexion avec Python
7. 7. Interface de programmation d'application (API)
   1. 7.1 Pourquoi utiliser une interface de programmation d’application ?
   2. 7.2 Quelques définitions et un peu de théorie
      1. 7.2.1 Les types de requêtes
      2. 7.2.2 Points de terminaison
   3. 7.3 Les codes de réponse
   4. 7.4 Le résultat de la requête
      1. 7.4.1 Attribut text
      2. 7.4.2 Attribut raw
      3. 7.4.3 Attribut content
      4. 7.4.4 Méthode json
   5. 7.5 Les librairies requests et json
      1. 7.5.1 Présentation de la librairie requests
      2. 7.5.2 Présentation de la librairie json
      3. 7.5.3 Installation
      4. 7.5.4 Utilisation d’API sans authentification
      5. 7.5.5 Appels API concurrents avec le multithreading
      6. 7.5.6 Requêtes API avec authentification
   6. 7.6 Bonnes pratiques
   7. 7.7 Illustration pratique
   8. 7.8 Pour s’entraîner
8. 8. Web scraping
   1. 8.1 Bases de HTML/CSS
      1. 8.1.1 HTML (HyperText Markup Language)
      2. 8.1.2 CSS (Cascading Style Sheets)
   2. 8.2 Utilisation de requests et BeautifulSoup
   3. 8.3 Méthodologie
   4. 8.4 Web Scraping avec selenium

Préparer vos données pour en exploiter le potentiel

1. 1. Qualité des données : rappel
   1. 1.1 Qu'est-ce que la qualité des données ?
   2. 1.2 Pourquoi est-ce que la QDD est importante ?
   3. 1.3 Les principaux critères de la QDD
      1. 1.3.1 Exactitude (accuracy)
      2. 1.3.2 Exhaustivité (completeness)
      3. 1.3.3 Cohérence (consistency)
      4. 1.3.4 Actualité (timeliness)
      5. 1.3.5 Validité (validity)
      6. 1.3.6 Unicité (uniqueness)
2. 2. Nettoyage de données
   1. 2.1 Premiers pas avec la librairie pandas
   2. 2.2 Présentation de notre jeu de données
   3. 2.3 Manipulations de base d'un jeu de données
      1. 2.3.1 Méthode head()
      2. 2.3.2 Attribut shape
      3. 2.3.3 Attribut columns
   4. 2.4 Création de sous-ensembles
      1. 2.4.1 Sélections de colonnes
      2. 2.4.2 Sélections avec les méthodes loc et iloc
      3. 2.4.3 Sélections conditionnelles
   5. 2.5 Nettoyage du jeu de données
      1. 2.5.1 Gestion des doublons
      2. 2.5.2 Valeurs manquantes
      3. 2.5.3 Modification des éléments
   6. 2.6 Traitements avancés
      1. 2.6.1 Valeurs aberrantes
      2. 2.6.2 Valeurs approximatives
      3. 2.6.3 Séries temporelles
3. 3. Les quatre piliers de la manipulation de données avec pandas
   1. 3.1 Filtrage avancé d'un DataFrame avec les opérateurs binaires
   2. 3.2 Unir des DataFrames avec concat et merge
   3. 3.3 Fusion de DataFrames avec la méthode merge
   4. 3.4 Trier et ordonner les valeurs d'un DataFrame : méthodes sort_values et sort_index
   5. 3.5 Grouper les éléments d'un DataFrame : méthodes groupby, agg et crosstab

Analyser et comprendre vos données

1. 1. Introduction
   1. 1.1 Types de variables
   2. 1.2 Notions de population et d'échantillon
   3. 1.3 Lois de probabilités statistiques
2. 2. Statistiques descriptives
   1. 2.1 Analyse univariée
      1. 2.1.1 Indicateurs de position
      2. 2.1.2 Indicateurs de dispersion
   2. 2.2 Analyse bivariée
      1. 2.2.1 Corrélation entre variables quantitatives
      2. 2.2.2 Association entre variables qualitatives
      3. 2.2.3 Relation entre variable qualitative et quantitative
3. 3. Inférence statistique
   1. 3.1 Notion d'intervalle de confiance
   2. 3.2 Principes des tests d'hypothèses
   3. 3.3 Tests paramétriques
      1. 3.3.1 Test de normalité
      2. 3.3.2 Test t de Student
      3. 3.3.3 ANOVA à un facteur
   4. 3.4 Tests non paramétriques
      1. 3.4.1 Test de Mann-Whitney
      2. 3.4.2 Test de Kruskal-Wallis
4. 4. Techniques avancées d'analyse statistique
   1. 4.1 Régression linéaire simple et multiple
      1. 4.1.1 Régression linéaire simple
      2. 4.1.2 Interprétation des coefficients
   2. 4.2 Régression linéaire multiple
      1. 4.2.1 Estimation des paramètres
      2. 4.2.2 Interprétation des coefficients
   3. 4.3 Évaluation approfondie du modèle
   4. 4.4 Limites et considérations
   5. 4.5 Predictive Power Score
5. 5. Cas d'étude : A/B testing en marketing
   1. 5.1 Présentation du contexte et des objectifs
   2. 5.2 Conception de l'expérience A/B
   3. 5.3 Collecte et préparation des données
   4. 5.4 Analyse statistique des résultats
      1. 5.4.1 Statistiques descriptives
      2. 5.4.2 Test d'hypothèse pour la comparaison des groupes
      3. 5.4.3 Calcul et interprétation de la taille d'effet
   5. 5.5 Visualisation des résultats
   6. 5.6 Interprétation et prise de décision basée sur les données
   7. 5.7 Limitations et considérations pour les futurs tests

Créer un Data Warehouse

1. 1. Introduction
   1. 1.1 Définitions préalables
      1. 1.1.1 OLTP (Online Transaction Processing)
      2. 1.1.2 OLAP (Online Analytical Processing)
   2. 1.2 Qu’est-ce qu’un Data Warehouse ?
2. 2. Les caractéristiques et les bénéfices d'un Data Warehouse
   1. 2.1 Les caractéristiques principales
   2. 2.2 Les bénéfices d'un Data Warehouse
3. 3. Les composants d'une architecture analytique
4. 4. Les différents types d’architecture d'un projet analytique
   1. 4.1 Architecture Single Tier
   2. 4.2 Architecture Two Tier
   3. 4.3 Architecture Three Tier
   4. 4.4 Conclusion
5. 5. Normalisation/dénormalisation
6. 6. Différentes méthodes de design de DWH
   1. 6.1 Méthodologie de design Inmon
   2. 6.2 Méthodologie de design Kimball
   3. 6.3 Méthodologie de design OBT simple
   4. 6.4 Méthodologie de design data vault
   5. 6.5 Le cycle de vie d'un projet de Data Warehouse
7. 7. Les différents types de tables dans un Data Warehouse
   1. 7.1 Les tables de faits (fact tables)
   2. 7.2 Les tables de dimensions (dimension tables)
8. 8. Les schémas
   1. 8.1 Star Schema (schéma en étoile)
   2. 8.2 Snowflake Schema (schéma en flocon de neige)
9. 9. Projet Data Warehouse
   1. 9.1 Prérequis
      1. 9.1.1 Ubuntu
      2. 9.1.2 Windows
      3. 9.1.3 Windows
   2. 9.2 Script Python
   3. 9.3 Création du diagramme ERD
   4. 9.4 Requêtes

Automatiser votre pipeline

1. 1. Introduction aux ETL et à l'automatisation des pipelines de données
   1. 1.1 Définition et importance des ETL
   2. 1.2 Avantages de l'automatisation des pipelines de données
   3. 1.3 Aperçu des outils d'automatisation : Airflow et Luigi
2. 2. Apache Airflow : un outil puissant pour l'orchestration des workflows
   1. 2.1 Présentation d'Airflow
   2. 2.2 Concepts clés : DAG, Tasks, Operators
   3. 2.3 Installation et configuration de base (Linux)
   4. 2.4 Création d'un pipeline simple avec Airflow
   5. 2.5 Avantages et cas d'utilisation
3. 3. Luigi : une alternative légère pour l'automatisation des tâches
   1. 3.1 Introduction à Luigi
   2. 3.2 Concepts fondamentaux : Tasks, Targets, Parameters
   3. 3.3 Installation et configuration
   4. 3.4 Création d'un pipeline de base avec Luigi
   5. 3.5 Principaux avantages et cas d'utilisation
4. 4. Comparaison entre Airflow et Luigi
   1. 4.1 Architecture et conception
   2. 4.2 Définition et gestion des workflows
   3. 4.3 Planification et exécution
   4. 4.4 Intégration et extensibilité
   5. 4.5 Scalabilité et performance
   6. 4.6 Communauté et support
5. 5. Bonnes pratiques pour concevoir des pipelines de données avec Python
   1. 5.1 Modularité et réutilisabilité du code
   2. 5.2 Gestion des erreurs et reprise sur échec
   3. 5.3 Logging et monitoring
   4. 5.4 Versioning des pipelines
   5. 5.5 Tests et validation des données
   6. 5.6 Documentation du code et des processus
6. 6. Cas pratique : création d'un pipeline ETL complet
   1. 6.1 Définition des besoins et du flux de données
      1. 6.1.1 Structure du code
      2. 6.1.2 Fonctions ETL (etl_functions.py)
      3. 6.1.3 DAG Airflow
      4. 6.1.4 Avantages de cette approche
   2. 6.2 Implémentation avec Airflow
   3. 6.3 Implémentation avec Luigi
   4. 6.4 Comparaison des approches et discussion
7. 7. Conclusion et perspectives
   1. 7.1 Récapitulatif des points clés
   2. 7.2 Tendances futures dans l'automatisation des pipelines de données

Visualiser vos données

1. 1. Introduction à la visualisation des données
2. 2. Pourquoi visualiser les données ?
   1. 2.1 Au-delà des chiffres : l'importance de la visualisation
   2. 2.2 Python : un outil sans limites
3. 3. Tour d'horizon des différentes librairies graphiques avec Python
   1. 3.1 Un écosystème riche et diversifié
   2. 3.2 Le trio gagnant : matplotlib, seaborn et Plotly
   3. 3.3 matplotlib
      1. 3.3.1 Installation
      2. 3.3.2 Présentation du jeu de données
      3. 3.3.3 Graphiques en ligne
      4. 3.3.4 Diagrammes en barres
      5. 3.3.5 Nuage de points
   4. 3.4 seaborn
      1. 3.4.1 Installation
      2. 3.4.2 Jeu de données
      3. 3.4.3 Histogrammes
      4. 3.4.4 Boîtes à moustaches
      5. 3.4.5 Nuage de points
      6. 3.4.6 Matrice de corrélation
      7. 3.4.7 Pairplot
   5. 3.5 Plotly
      1. 3.5.1 Introduction
      2. 3.5.2 Installation
      3. 3.5.3 Graphique en cascade
      4. 3.5.4 Indicateurs
      5. 3.5.5 Jauges
      6. 3.5.6 Funnel
      7. 3.5.7 Cartes
      8. 3.5.8 Treemaps
   6. 3.6 Les graphiques « sur mesure »
      1. 3.6.1 Graphiques combinés
      2. 3.6.2 Graphique de ruban
      3. 3.6.3 Area chart
4. 4. Bonnes pratiques de conception
5. 5. Cas pratique

Tableaux de bord et rapports

1. 1. Des données aux décisions : exploiter au mieux le tableau de bord
2. 2. Storytelling : l'art de faire parler vos données
3. 3. Maîtriser les tableaux de bord BI avec Python
   1. 3.1 Streamlit
      1. 3.1.1 Installation
      2. 3.1.2 Les composants
      3. 3.1.3 Optimisations
      4. 3.1.4 Notre premier tableau de bord Streamlit
   2. 3.2 Taipy
      1. 3.2.1 Installation
      2. 3.2.2 Les composants de base
      3. 3.2.3 Premier tableau de bord Taipy
      4. 3.2.4 Création d'interfaces avec taipy.gui.builder
   3. 3.3 Dash
      1. 3.3.1 Installation
      2. 3.3.2 Les composants de base
      3. 3.3.3 Éléments de structure de page
      4. 3.3.4 Contrôle et interactivité
      5. 3.3.5 Création du tableau de bord avec Dash
4. 4. Créer des rapports BI percutants (et rapidement)
   1. 4.1 Jupyter Notebooks
   2. 4.2 Quarto
5. 5. Diffuser et partager vos analyses
   1. 5.1 Développement local
   2. 5.2 Préparation au déploiement
   3. 5.3 Options de déploiement
      1. 5.3.1 Plateformes de déploiement spécifiques aux frameworks
      2. 5.3.2 Plateformes cloud polyvalentes
      3. 5.3.3 Hébergement statique avec génération côté client
      4. 5.3.4 Serveurs privés virtuels (VPS)
   4. 5.4 Sécurité et accès
   5. 5.5 Maintenance et mise à jour

Éthique, sécurité et RGPD

1. 1. Introduction
   1. 1.1 Importance de l'éthique, de la sécurité et du RGPD en Business Intelligence
   2. 1.2 Enjeux actuels dans le traitement des données d'entreprise
2. 2. Éthique dans la Business Intelligence
   1. 2.1 Principes éthiques fondamentaux en BI
      1. 2.1.1 Transparence
      2. 2.1.2 Équité
      3. 2.1.3 Responsabilité
   2. 2.2 Biais dans les données et les analyses
      1. 2.2.1 Types de biais courants
      2. 2.2.2 Conséquences des biais sur les décisions d'entreprise
   3. 2.3 Prise de décision éthique basée sur les données
   4. 2.4 Gouvernance des données éthique
3. 3. Sécurité des données en Business Intelligence
   1. 3.1 Importance de la sécurité des données en entreprise
   2. 3.2 Menaces courantes pour la sécurité des données
      1. 3.2.1 Cyberattaques
      2. 3.2.2 Fuites de données internes
      3. 3.2.3 Erreurs humaines
   3. 3.3 Meilleures pratiques de sécurité des données
      1. 3.3.1 Contrôle d'accès et authentification
      2. 3.3.2 Chiffrement des données
      3. 3.3.3 Sauvegardes et plans de reprise après sinistre
   4. 3.4 Formation et sensibilisation des employés à la sécurité
4. 4. RGPD et conformité en Business Intelligence
   1. 4.1 Vue d'ensemble du RGPD
   2. 4.2 Principes clés du RGPD applicables à la BI
      1. 4.2.1 Consentement et base légale du traitement
      2. 4.2.2 Minimisation des données
      3. 4.2.3 Limitation de la finalité
   3. 4.3 Droits des individus sous le RGPD
      1. 4.3.1 Droit d'accès
      2. 4.3.2 Droit à l'effacement
      3. 4.3.3 Droit à la portabilité des données
   4. 4.4 Mise en conformité RGPD dans les projets de BI
      1. 4.4.1 Analyse d'impact relative à la protection des données (AIPD)
      2. 4.4.2 Privacy by Design et Privacy by Default
   5. 4.5 Gestion des violations de données et notification
5. 5. Intégration de l'éthique, de la sécurité et du RGPD dans les processus de BI
   1. 5.1 Création d'une culture d'entreprise axée sur l'éthique et la protection des données
   2. 5.2 Intégration des considérations éthiques et de confidentialité dans le cycle de vie des projets BI
   3. 5.3 Audits et évaluations régulières
   4. 5.4 Collaboration entre équipes (BI, juridique, sécurité, conformité)
6. 6. Défis et opportunités futurs
   1. 6.1 Évolution des réglementations sur la protection des données
   2. 6.2 Innovations technologiques et leurs implications éthiques
   3. 6.3 Équilibre entre innovation et protection des données
7. 7. Conclusion
8. 8. Ressources complémentaires
   1. 8.1 Guides et cadres éthiques
   2. 8.2 Outils et ressources pour la sécurité des données
9.  
10.  
11. Index