Objectif du chapitre

L’A/B testing est un moyen efficace de tester de nouvelles idées ou de tenter des changements avant de prendre une décision finale.

L’idée des tests A/B est de présenter plusieurs variantes d’un même contenu ou produit qui diffèrent selon un seul critère afin de déterminer quelle est la version qui donne le meilleur résultat auprès d’un public ou de clients potentiel.

Les tests A/B ne sont pas à proprement parler un outil statistique défini, mais un protocole d’expérience.

L’enjeu d’un test A/B est d’une part de comparer quel est le résultat obtenu par le nouvel élément par rapport à la version de contrôle, et d’autre part de déterminer si la différence de résultat, si elle existe, est statistiquement significative.

Dans le cadre de cet ouvrage, le test statistique utilisé sera le test de Student.

Le concept de test A/B

Un test A/B est la mise en place d’une expérience qui permet d’analyser statistiquement les résultats d’une nouvelle idée par exemple :

Une phrase d’accroche différente dans un mail
Un bouton rouge plutôt que bleu sur un site internet
Un design de produit différent

Un test A/B n’est pas forcément une expérience à réaliser une seule fois, le principe peut s’inscrire dans une démarche d’amélioration constante.

Bien que les tests A/B soient souvent abordés dans un contexte de sites web ou de technologie, ils peuvent être utilisés dans à peu près n’importe quel domaine, il suffit d’une idée ou d’une hypothèse que vous souhaitez tester.

Vous pouvez par exemple utiliser un test A/B pour tester deux types d’engrais différents dans votre jardin, ou tester deux marques de café différentes au travail pour voir laquelle est statistiquement la plus consommée.

Signification statistique et expérimentation

Définition des hypothèses

En science, une hypothèse est une idée ou une explication que vous souhaitez tester à travers une étude ou une expérimentation.

Avant la mise en œuvre d’un test A/B, deux hypothèses vont être établies.

L’hypothèse...

Étude de cas et application avec Excel

Passons maintenant à un cas pratique, une expérience hypothétique. Wise Cat est un refuge pour chat, un des employés pense qu’il est dommage de ne pas utiliser une image de chat sur la page d’accueil du site web.

Les chats sont-ils vendeurs ?

À l’heure actuelle, la page d’accueil du site ressemble à ceci :

Cette image est notre image de contrôle.

Et voilà notre image test :

Notre hypothèse est qu’une image de chat rendra les gens plus enclins à cliquer sur le bouton Entrez pour éventuellement adopter un chat.

De manière plus formelle, nous pouvons écrire :

H0 : il n’y a pas de différence significative du nombre moyen de clics sur le bouton Entrez entre l’image de contrôle (pas de chat) et l’image de contrôle (chat).
H1 : il y a une différence significative du nombre de clics sur le bouton Entrez entre l’image de contrôle (pas de chat) et l’image de contrôle (chat).

Nous allons comparer le nombre de clics sur le bouton sur une durée de 60 jours.

Mise en place de l’expérience

Le fichier A_B_test.xlsx contient le nombre de clics sur la page du site durant 60 jours avec :

L’image de contrôle (colonne Contrôle)
L’image de test (colonne Test)

Les données se présentent de la manière suivante :

La table a été...

Expériences de marketing : A/B testing