L'Agilité dans les projets se généralise et le testeur comprend vite qu'il faut penser le test différemment pour que les mises en production du produit puissent se faire régulièrement à un rythme parfois soutenu. Dans ce livre, l'auteur donne au lecteur, au travers de nombreux exemples, anecdotes, références bibliographiques et illustrations, les connaissances fondamentales pour appréhender l'état d'esprit du test agile et les pratiques du test qui en découlent.

Cette seconde édition va encore plus loin dans le domaine du test avec plusieurs dizaines de références bibliographiques supplémentaires, des illustrations complémentaires et de nouveaux sujets.  

Chaque chapitre, même le plus technique, intéressera autant le DSI dans son virage vers l'Agilité, que le testeur qui ressent le besoin de s'adapter à ce nouveau mode de développement ou encore les développeurs ou autres membres d'une équipe Agile qui doivent s'adapter pour fournir un logiciel de qualité.

Après quelques rappels sur l'agilité et sur les principes et techniques du test, un chapitre est entièrement consacré à l'état d'esprit du test agile. Puis, au fil des pages, l'auteur met l'accent sur l'importance de la connaissance du métier et de la connaissance technique pour réaliser des tests en mode agile. Le lecteur est également amené à étudier la problématique de ce qui est produit par les tests (anomalies et rapports des sessions de test) ainsi que la notion de tests non fonctionnels.

Pour finir, comme il est souvent nécessaire d'adapter l'organisation complète d'une équipe pour faciliter le test agile, un chapitre montre quels sont les facteurs qui permettent une amélioration plus profonde du test au travers de l'organisation autour du projet.

Avant-propos

1. Une transformation digitale
2. Pourquoi ce livre ?
3. À qui est destiné ce livre ?
   1. 1. Cas n°1 - C’était mieux avant !
   2. 2. Cas n°2 - Comment puis-je améliorer mon agilité dans mestests ?
   3. 3. Cas n°3 - Mon équipe veut passer au DevOps,quels sont mes besoins de tests ?
   4. 4. Cas n°4 - Je suis dans une équipe agile en « FastIT » et tout le monde code et teste
4. Comment lire ce livre ?
5. Qui suis-je ?

Quelques rappels

1. Introduction
2. Les quatre valeurs de l’agile - Rappel du manifeste agile
3. Les sept principes du test - Rappel ISTQB
   1. 1. Principe du test #1 - Les tests montrentla présence de défauts, et non l’absencede défauts
   2. 2. Principe du test #2 - Le test exhaustif estimpossible
   3. 3. Principe du test #3 - Tester tôt économisedu temps et de l’argent
   4. 4. Principe du test #4 - Regroupement des défauts
   5. 5. Principe du test #5 - Usure des tests (ex.Paradoxe du pesticide)
   6. 6. Principe du test #6 - Le test dépenddu contexte
   7. 7. Principe du test #7 - Illusion de l’absencede défaut
4. Techniques de base du test
   1. 1. Partitionnement de classes d’équivalenceset valeurs limites
   2. 2. Table de décision
   3. 3. Transitions d’états
   4. 4. Heuristiques de test
      1. a. CORRECT
      2. b. Heuristique - Test n-wise
5. Le cycle de vie logiciel
   1. 1. Projet à l’échelle d’uneseule équipe Scrum
      1. a. Scrum en quelques lignes
      2. b. Sprint Refinement Meeting (ou grooming)
      3. c. Sprint Planning
      4. d. Daily Scrum Meeting
      5. e. Sprint Review
      6. f. Rétrospective
   2. 2. Projet à l’échelle de plusieurs équipes
      1. a. Cas de frameworks agiles existants
      2. b. Point de vue du modèle SAFe
      3. c. Point de vue du modèle Spotify
      4. d. Point de vue LeSS
      5. e. Point de vue « Disciplined Agile »
      6. f. Point de vue Scrum@Scale - S@S
      7. g. Point de vue de Nexus
   3. 3. Développer sa propre vision de l’agilité à l’échelle
      1. a. Approche par composants vs fonctionnalités
      2. b. Structuration des équipes par rapport à laloi de Conway
      3. c. Équipes « Domain-DrivenDesign »
      4. d. Organiser l’agilité et le test à l’échelle

L’état d’esprit

1. Introduction - Exemple de l’industrie du textile
   1. 1. Contrôle des ballots
   2. 2. Contrôle pendant le tissage
   3. 3. Amélioration du procédé detissage
   4. 4. Le test agile
2. État d’esprit lean
   1. 1. Le lean, les origines de l’agile
   2. 2. Les pratiques lean
      1. a. Juste-à-temps - « Justin time »
      2. b. Jidoka - autonomatisation
      3. c. Heijunka - flux réguliers
      4. d. Standardisation
      5. e. 5S - rangez !
      6. f. Kaizen et l’amélioration continue
3. Manifeste du test agile selon Samantha Laing et Karen Greaves
   1. 1. « Tester pendant le sprint »
   2. 2. « Prévenir les bugs »
   3. 3. « Comprendre ce que l’ondoit tester »
   4. 4. « Concevoir un meilleur système »
   5. 5. « L’équipe estresponsable de la qualité du produit »
4. Autres visions du test agile

Versant métier

1. Introduction
2. Quelques techniques d’idéation
   1. 1. Design Thinking
   2. 2. Lean Start-up
   3. 3. Event Storming
3. Idéation et spécification des besoins
   1. 1. Backlog du portfolio
   2. 2. Temporalisation des demandes
   3. 3. La valeur métier
      1. a. Modèle MoSCoW
      2. b. Diagramme de Kano
      3. c. Priorisations complexes (Weighted Shortest Job First- WSJF)
   4. 4. Qualité des demandes
      1. a. Définition du Prêt (Definition ofReady - DoR)
      2. b. Définition du Terminé (DoD)
      3. c. DoR et DoD à l’échelle
      4. d. Mise à jour des DoR et DoD
   5. 5. Description d’une US en mode BDD
   6. 6. Ingénierie des critères d’acceptationdes US
   7. 7. Formalisation d’une epic chez SAFe
   8. 8. Découpage des élémentsdu backlog
   9. 9. Des spécifications traditionnelles en agile ?
   10. 10. Revue de définition des US
       1. a. Affinement des US
       2. b. Approche « Los Très Amigos » -les trois amis
       3. c. Revue d’un élément plusgros qu’une US
4. Test des éléments
   1. 1. Démarche ATDD pour développer uneUS
   2. 2. Revue de réalisation de l’US
   3. 3. Tests pour les macrospécifications
   4. 4. Visite guidée

Versant industriel du test

1. Introduction
2. Stratégie de test
   1. 1. Vision académique de la stratégiede test
   2. 2. Testabilité d’une stratégiede test
   3. 3. Catégories de stratégies
   4. 4. Tester tôt
   5. 5. Approche par le risque
      1. a. Caractérisation du niveau de risque
      2. b. Principe du Risk-Based Testing - RBT
      3. c. Granularité
      4. d. Niveau « données de tests »
      5. e. Niveau « scénarios de tests »
      6. f. Niveau « exigence de tests »
      7. g. Niveau « campagnes de tests »
      8. h. Périmètre vs Qualité etobjectifs de test
   6. 6. Heuristique pour une stratégie de test
   7. 7. Context-Driven Testing (CDT) - Test Piloté parle Contexte
      1. a. Valeur d’une pratique dépendantedu contexte
      2. b. Les Best Practices
      3. c. Des personnes qui travaillent ensemble
      4. d. Prédictibilité des projets
      5. e. Résolution du problème
      6. f. Le challenge intellectuel
      7. g. Esprit critique
3. Tests systèmes / bout-en-bout
   1. 1. Stratégies de tests bout-en-bout
      1. a. Approche « WaterScrumFall »
      2. b. Approche itérative & incrémentale
      3. c. Approche par le Program Board de SAFe
      4. d. Approche « test par l’usage »
   2. 2. Organisation des tests
      1. a. Vision jacobiniste du test - une fausse bonneidée ?
      2. b. Ingénierie des tests systèmes/bout-en-bout
      3. c. Structure dans un outil de gestion des tests
      4. d. Planification
      5. e. Monitoring et Contrôle
      6. f. Clôture des tests
   3. 3. Tests de régression
      1. a. Campagne définie par l’impact
      2. b. Smoke tests - les tests fumigatoires
      3. c. Campagnes de régression prédéfiniespar le risque
      4. d. Campagnes prédéfinies par thème
      5. e. Check-list
4. Tests exploratoires
   1. 1. Préparation des tests exploratoires
      1. a. La charte
      2. b. La zone de recherche
      3. c. L’état d’esprit - Techniquede la persona
      4. d. Les moyens d’une session de TE
   2. 2. Session de Test exploratoire
   3. 3. Fin de Session de Test exploratoire
5. Ingénierie des tests de recette
   1. 1. Création des critères d’unerecette
   2. 2. Application de la recette dans le projet
   3. 3. Cas des certifications et des tests réglementaires
   4. 4. Préparation de la recette
   5. 5. Passage de la recette
6. Stratégies de gestion des anomalies
   1. 1. Taxonomie des erreurs
      1. a. Origine des anomalies
      2. b. Bugs ou parasites ?
      3. c. Quels types de bugs ?
   2. 2. Loi de Pareto
   3. 3. Le « Bug cap » deMicrosoft
   4. 4. Approche « zéro défaut »
   5. 5. Anticiper la création de bugs par des pratiques « agiles »
   6. 6. Anticiper la création de bugs par la dettetechnique
      1. a. Prise de conscience
      2. b. Mesurer la dette
      3. c. Attitudes face à la dette
7. Rôles
   1. 1. Rôle du Product Manager dans le test
   2. 2. Rôle du Product Owner dans le test
   3. 3. Rôle du Scrum Master dans le test
   4. 4. Rôle des développeurs dans le test
   5. 5. Rôle du test manager
      1. a. Posture du TM
      2. b. Organisation & planification
      3. c. La voix du client
   6. 6. Rôle du testeur
   7. 7. Autres rôles
   8. 8. Rôle de l’IA
8. Reporting
   1. 1. Généralités
   2. 2. Contenu d’un rapport
9. Living Documentation
   1. 1. Généralités
   2. 2. Des tests vivants
   3. 3. Une documentation vivante mais stable
10. Stratégies sur les données et environnements de tests
    1. 1. Clonage des données de production
    2. 2. Gestion des données de test
       1. a. Génération des données
       2. b. Optimisation des tests par les valeurs
       3. c. Génération des valeurs par perturbation
       4. d. Approche combinatoire aléatoire
       5. e. Generative Adversarial Network - GAN
       6. f. Minimisation des données
       7. g. Anonymisation des données
       8. h. Cas des données sujettes à la péremption
       9. i. Dictionnaire de données
       10. j. Isolation des données
       11. k. Synthèse
    3. 3. Reprise de données
11. Testing et DevOps
    1. 1. Culture et généralités
    2. 2. À quoi ressemble le test avec DevOps ?
    3. 3. Le Continuous Testing

Tests non fonctionnels

1. Introduction
2. Tests de sécurité
   1. 1. Généralités sur les testsde sécurité
   2. 2. Orientations en termes de sécurité
   3. 3. Principes
      1. a. Séparation
      2. b. Contrôle
   4. 4. Étapes pour définir un test de sécurité
      1. a. Technique de tests pour les OpSec
      2. b. Types d’anomalies
      3. c. Activités à contrôler
   5. 5. Organisation des tests de sécurité
      1. a. Modèle par jalons
      2. b. Correspondance entre sécurité etactivités compatibles agile
      3. c. Vision SEAP
      4. d. Approche par le risque
      5. e. Modèle Microsoft SDL
      6. f. Modèle PASTA
      7. g. Vision Coveros
      8. h. Security Cards
   6. 6. Quelques techniques de tests
      1. a. Analyse de sécurité pour les exigences
      2. b. Analyse de failles de sécurité surle design et le code
      3. c. Tests de pénétration
      4. d. Détection d’intrusion
      5. e. DevSecOps - Intégration de la sécurité dansune approche DevOps
      6. f. Analyse de patch et nouvelles versions
   7. 7. Rôles autour de la sécurité
3. Tests d’utilisabilité
   1. 1. Questionnaire de satisfaction
   2. 2. UX Curves - les courbes d’expériencesd’utilisateurs
   3. 3. Organisation des tests d’utilisabilité
      1. a. Sessions de tests d’utilisabilité avecdes utilisateurs
      2. b. Retours des utilisateurs en production
      3. c. Co-design
   4. 4. Accessibilité
      1. a. Intérêt de l’accessibilité
      2. b. Comprendre les recommandations
      3. c. Certification et pénalités
4. Tests de charges
5. Tests de migration ou reprise de données
   1. 1. Généralités sur les migrations
   2. 2. Migrations techniques
   3. 3. Migrations impliquant la reprise des données
      1. a. Classification des données
      2. b. Migration de type big bang
      3. c. Migration au fil de l’eau
      4. d. Outillage de la migration
   4. 4. Phase finale de la migration - le décommissionnement
6. Tests de tolérance aux pannes
   1. 1. Facteurs de défaillance
      1. a. L’information
      2. b. La disponibilité
      3. c. La compensation
      4. d. La stabilisation
   2. 2. Conception
      1. a. N+1
      2. b. Fail fast
      3. c. Paxos
      4. d. RAFT
   3. 3. Reprise de fonctionnement
      1. a. Définition des tests de reprise de fonctionnement
      2. b. Préparation des tests de reprise de fonctionnement
      3. c. Exécution des tests de reprise de fonctionnement
7. Tests d’exploitabilité
8. Tests de traçabilité
   1. 1. Périmètre
   2. 2. La vérification
9. Tests de sûreté de fonctionnement
10. Ecoconception
    1. 1. Pourquoi devrions-nous tester l’écoconception ?
    2. 2. Comment améliorer votre impact ?
       1. a. Le Référentiel Générald’Ecoconception de Services Numériques - RGESN
       2. b. Le Guide de Référence de conceptionresponsable de services numériques - GR 491
       3. c. Le guide d’écoconception de servicesnumériques
       4. d. 115 bonnes pratiques d’écoconceptionweb
       5. e. Manifeste pour une agilité responsable
11. Proposition d’organisation pour le test des ENF

Versant technique du test

1. Introduction
2. Le Software Craftsmanship (SC ou « Craft »)
3. Test de conception et de code
   1. 1. Prévenir les défauts dans le code
      1. a. Responsabilité collective du code
      2. b. Une bonne conception, plutôt qu’unebonne revue
      3. c. Du bon code, plutôt qu’une bonnerevue
      4. d. Tests Unitaires (TU)
   2. 2. Revue de conception et de code
      1. a. Inspection
      2. b. Méthode B
4. Ingénierie des Tests d’Intégration (TI)
   1. 1. Tests d’interopérabilité
      1. a. Approche big bang
      2. b. Approche top-down
      3. c. Approche bottom-up
      4. d. Approche sandwich
      5. e. Autres approches
   2. 2. Tests de portabilité
   3. 3. Tests de coexistence
5. Stratégie d’automatisation
   1. 1. Vision haut niveau de l’automatisation
      1. a. Identification de la mesure
      2. b. Modèle de mesure
      3. c. Automatisation - la séparation homme / machine
      4. d. Renforcement
   2. 2. Massification
   3. 3. Automatisation de scripts de tests fonctionnels
      1. a. Pilotage d’interfaces vocales
      2. b. Pilotage d’interfaces tactiles
      3. c. Pilotage d’interfaces liées à l’OS- client lourd
      4. d. Pilotage d’interfaces web
      5. e. Pilotage d’interfaces « machine2 machine »
   4. 4. Frameworks et plateformes de test
      1. a. Agilitest
      2. b. Appium
      3. c. Cerberus
      4. d. Cucumber
      5. e. Cypress
      6. f. Playwright
      7. g. Robot Framework
      8. h. Selenium
      9. i. Katalon / Ranorex / Tosca / TestComplete / UFT(QTP)
      10. j. UI Path
      11. k. Autres catégories d’automatisation
   5. 5. Spécificités techniques des typesd’applications
      1. a. Automatisation des tests pour applications web
      2. b. Application mobile
   6. 6. Conception des scripts
   7. 7. Framework des tests automatiques
      1. a. Compétences de programmation
      2. b. Patrons de conception
   8. 8. Exécution des scripts
      1. a. Exécution en aveugle
      2. b. Reporting d’exécution
   9. 9. Qui automatise ?
      1. a. Équipe dédiée à l’automatisation
      2. b. Des automaticiens dans l’équipede développement
      3. c. Les développeurs automatisent les tests
      4. d. Et dans la vraie vie ?
6. Environnement technique du test
   1. 1. Environnement d’intégration
      1. a. Branching Model
      2. b. Feature Flag (ou Toggle)
      3. c. Exécution périodique des tests
   2. 2. Environnement de déploiement
      1. a. Installation du produit
      2. b. Mise à disposition d’un environnementde déploiement
   3. 3. Opérations
      1. a. Qualité de service
      2. b. Continuité de service
      3. c. Gestion des catastrophes
      4. d. Zero Downtime Deployment - ZDD
      5. e. Observabilité

Facteurs de succès

1. Tester c’est apprendre
   1. 1. Gestion de la connaissance comme enjeux du test
   2. 2. Vouloir apprendre
   3. 3. Repérer la connaissance
   4. 4. Actualiser la connaissance
   5. 5. Préserver la connaissance
      1. a. La Solution Intent
      2. b. Modélisation agile
      3. c. La CMDB d’ITIL
   6. 6. Partager la connaissance
      1. a. Formats de transmission
      2. b. Mentoring
2. Le contexte organisationnel dans l’apprentissage
   1. 1. Bureaucratie agile
   2. 2. Réseau d’équipes agiles
   3. 3. Le management 3.0
   4. 4. Holacratie
   5. 5. Vue transverse sur ces structures
      1. a. Points communs des organisations autonomes
      2. b. La notion de « Ba »
      3. c. Travailleur de la connaissance
3. Ce qui fait l’âme du testeur
   1. 1. Ceux qui testent
      1. a. Le pragmatique
      2. b. Le joueur
      3. c. Le méthodique
      4. d. L’empirique
      5. e. Le relationnel
      6. f. Changement des mentalités
   2. 2. La confiance
      1. a. La confiance en une version
      2. b. La confiance comme attribut du leadership
   3. 3. La sclérose du test
      1. a. La sclérose des anomalies
      2. b. La sclérose administrative
      3. c. La sclérose nombriliste : améliorerle test avant le produit
   4. 4. Pensée critique (PC)
      1. a. Introduction à la pensée critique
      2. b. Les grands penseurs de la pensée critique
      3. c. La PC dans le monde actuel
      4. d. La PC pour le test
      5. e. Quelques outils pour la PC
      6. f. Biais cognitifs
      7. g. La bonne distance - Limites de la penséecritique
   5. 5. Créativité
   6. 6. Le leadership pour changer
   7. 7. Stratégies pour le changement
      1. a. Une plateforme en feu
      2. b. Le modèle ADKAR
      3. c. Modèle de Lewin
   8. 8. Les valeurs du testeur agile

Bibliographie

1. Introduction

Annexe

1. Crédits