Qu’est-ce-que le test A/B ?

C’est le principe de tester un ou plusieurs éléments sur des groupes d’utilisateurs distincts. L’ab testing est l’outil le plus objectif et précis pour déterminer l’impact d’une évolution sur le comportement utilisateur. Ces tests A/B, MVT ou autres peuvent être lancés sur un site internet, une application mobile ou une application TV.

Pour répondre aux différents cas de figure, plusieurs types de test sont disponibles. Certains sont à privilègier en fonction de la maturité de l’équipe CRO en optimisation.

Le test A/B

Le test A/B classique permet de tester 2 designs d’une même page à un groupe d’utilisateur. Il est réalisé sur une URL déterminée et vous pouvez mesurer la différence entre la version originale (version de contrôle) et la variation de test.

Qu'est ce qu'un test A/B ?

Vous pouvez modifier un élément ou l’ensemble de la page. Vous pouvez lancer une ou plusieurs variations (A/B/C/D/ ….).

Ce type de test est le plus commun et utilisé par les équipes marketing.

Le multivariete testing ou test MVT

Le multivariete testing permet de tester plusieurs changements en même temps et de mesurer leur impact de manière isolée ou combinée. Vous pouvez par exemple modifier la couleur d’un bouton, son label et sa position. Vous pourrez mesurer la performance de la nouvelle couleur seule ou combinée avec un ou plusieurs composants.

Qu’est ce qu’un composant MVT ou une variation de test MVT ? Voici quelques définitions :

  • Un composant de test MVT fait référence à un type de modifications comme la couleur du bouton.
  • La variation fait référence aux différentes variations créées comme le jaune ou le bleu
  • La combinaison de test fait référence à l’une des propositions présentées aux utilisateurs et qui regroupe une ou plusieurs variations de composant.

Comment construire un test MVT

Le nombre de combinaisons créé évolue de manière de manière exponentielle. Par exemple, avec 2 variations et 3 composants, le nombre total de combinaison sera de 8 combinaisons (2 x 2 x 2).

Ce type de test est disponible dans la majorité des outils de testing. Il reste cependant peu utilisé à cause de sa complexité et des ressources nécessaires.

Le split testing

Le split testing ou test par redirection permet de rediriger un groupe d’utilisateur vers une ou plusieurs URLs définies. Ce type de test est principalement utilisé pour des tests sur des landing pages ou des refontes de tunnel de commande.

comment faire un test par redirection abtesting

Il est recommandé d’héberger la nouvelle page sur vos serveurs pour réduire le temps de chargement du test et limiter l’effet de scintillement (flickering effect).

Ce type de test est proposé par l’intégralité des outils de testing du marché.

Le bandit test

Le bandit test est un type de test A/B automatisé. Il est piloté par un algorithme qui calcule la probabilité de réussite d’une combinaison et si ses performances sont bonnes, l’algorithme lui envoie davantage de trafic.

Il y a plusieurs bénéfices avec cette technique :

  • la combinaison détectée comme négative reçoit moins de trafic et les pertes financières pour l’entreprise sont limitées.
  • le délai pour détecter une combinaison gagnante est réduit
  • le volume de trafic exposé à un test dans l’année est plus important ce qui est avantage important dans une stratégie d’optimisation continue

Ce type de test A/B est proposé par quelques éditeurs comme Google Optimize, Optimizely ou AB Tasty.

Quel site peut utiliser le test A/B ?

Tous les sites ecommerce, de génération lead ou même des blogs peuvent l’utiliser. Le test A/B est l’outil le plus fiable pour mesurer les évolutions d’un site tout en limitant l’impact sur les performances business.

Un site ecommerce peut par exemple augmenter son taux de conversion, son panier moyen, le taux d’ajout au panier ou un ensemble d’indicateurs UX.

Un site de génération de lead prendra soin d’améliorer son taux de conversion en simplifiant son parcours utilisateurs, le taux de rebond ou la complétion des formulaires. Il est aussi possible de réaliser des tests A/B grâce aux newsletters envoyés aux prospects.

Un blog peut améliorer ses objectifs de partage, d’inscription à une newsletter ou de téléchargement d’ebook.

Qui peut l’utiliser ?

Toutes les équipes marketing peuvent utiliser un outil de test A/B. Des éditeurs comme AB Tasty ou Kameleoon proposent une approche simplifiée via un éditeur WYSIWIG. Il permet de modifier le design du site en quelques clics.

Une approche plus avancée permet de développer une nouvelle combinaison de test A/B ou MVT grâce à du JS et du CSS. Ce second type de test s’adresse plutôt à des équipes matures en optimisation de la conversion. En effet, les temps de conception ou de développement sont plus importants et les résultats sont plus complexes à analyser.