Ciblage test A/B : Faut-il lancer plusieurs tests en même temps ou en parallèle pour en lancer plus ?

Vous lancez beaucoup de tests A/B et vous consommez 100% de votre trafic disponible ? Le nombre d’hypothèses d’optimisation s’accumulent dans votre roadmap d’optimisation et on vous en demande toujours plus ? Difficile de trouver une solution à cet épineux problème de vélocité.

La solution la plus simple est de lancer plus de tests A/B sans tenir compte des autres tests en cours. Que ce soit dans ce contexte ou une simple question de ciblage, savez-vous quels sont les risques sur vos résultats ?

Une analyse des résultats de tests A/B complexe

Impact des tests A/B entre eux

Les données de vos tests A/B se polluent probablement entre elles et c’est quasi impossible de mesurer l’impact de cet effet. Dans ce contexte, vous serez incapable d’analyser les résultats et d’affirmer qu’un test A/B est gagnant ou perdant en toute confiance.

Prenons cet exemple : Vous lancez 2 tests A/B, l’un sur la page liste et le second sur la fiche produit. L’utilisateur entre sur les 2 tests A/B lors de sa visite.

Que se passe t-il lorsque vous analysez les résultats du test n°1 ?

Vous observez les résultats des combinaisons du test n°1 dans votre dashboard. Ces chiffres contiennent en partie les chiffres du test n°2 et peuvent avoir un impact. En effet, une partie des utilisateurs a visité soit uniquement une page liste (test n°1), soit une page liste et une fiche produit (test n°1 + test n°2). Quel est l’impact sur le test n°1?

Plusieurs théories sont possibles :

Les tests A/B n’ont pas d’impact entre eux (monde parfait).

Le test A/B n°2 est négatif et réduit les performances du test n°1

Le test A/B n°2 est positif et augmente les performantes du test n°1

Plusieurs sessions entre les tests A/B

En allant plus loin dans la réflexion, cet utilisateur revient à plusieurs reprises (sessions) sur votre site. Cette fois, il ne passe plus par la page liste (test n°1) mais directement par la fiche produit (test n°2) avant de finaliser sa transaction.

L’utilisateur a pris le temps de s’habituer à la nouvelle interface du test n°2, ce que l’on appelle l’apprentissage interne. A l’inverse, le test n°1 n’a peut être pas eu d’effet sur l’utilisateur.

D’un point de vue statistique, votre utilisateur est toujours marqué par le test n°1 et se voit attribuer une transaction. Dans ce contexte, comment peut-on répartir l’impact des tests entre eux ? Le test n°1 a t-il un quelconque impact ?

Stabilité des résultats

Lorsque le trafic d’un test A/B est modifié, vos résultats perdent en stabilité pendant un temps. Ce comportement est normal lorsque vous désactivez une combinaison de test et que vous attribuez plus de trafic sur les combinaisons restantes par exemple. Les nouveaux utilisateurs qui entrent sur le test, le découvrent et doivent s’habituer.

Quel est l’impact sur des tests superposés ?

Si vous arrêtez le test n°2 en fiche produit, l’utilisateur verra la fiche produit originale lors de sa prochaine visite. Cela peut modifier son comportement et les résultats de l’autre test A/B en cours.

Si vous arrêtez et lancez des tests souvent, vous réduisez drastiquement la stabilité de vos expérimentations. La seule solution pour pallier à ce problème est de lancer et d’arrêter tous les tests au même moment. Autant dire que ça n’a pas d’intérêt dans cette recherche de vélocité.

Segmenter les résultats des tests, la solution ?

Vous pouvez utiliser la segmentation analytics pour mesurer l’impact d’une combinaison de test de manière isolée. Votre segment doit prendre en compte uniquement les visiteurs ayant vu la combinaison à analyser et la version originale de tous les autres tests.

Le volume disponible est fortement réduit et peut poser 2 problèmes. Le premier est la significativité de vos tests qui sera réduite à cause d’un faible volume. Le second est votre capacité à analyser en post-test et à découvrir des enseignements sur le comportement utilisateur. Par exemple, quel est le comportement du segment mobile ou des VIPs ? Le volume peut être très faible et vous serez incapable d’admettre certains enseignements.

Utiliser cette configuration revient à lancer un test MVT géant mais avec beaucoup plus de contraintes.

Comment organiser ses tests entre eux

La meilleure solution consiste à lancer ses tests A/B ou MVT en parallèle. Vous pouvez soit créer des règles de ciblage pour tous vos tests (long) ou configurer votre outil pour qu’il accepte un seul test par visiteur. Des outils comme ABTasty, Kameleoon ou Optimizely proposent cette fonctionnalité.

Les tests ne sont plus perturbés par des éléments extérieurs et vous pourrez segmenter vos résultats finement.

Augmenter votre potentiel de tests A/B

La première étape consiste à déterminer le nombre d’expérimentations que vous pouvez lancer par template, votre potentiel de tests. Cette information est précieuse et permet de prendre conscience de la difficulté à optimiser la performance d’une landing page ou d’une fiche produit spécifique par exemple. Je reviendrai sur ce point dans un autre article.

Le second point est de prioriser sa roadmap d’optimisation avec un système de priorisation objectif. J’ai entendu quelques remarques sur le temps que ce type d’exercice pouvait prendre pendant des réunions et le faible gain apparent. Sans priorisation, vous allez probablement lancer des tests long à produire et/ou avec un faible potentiel. C’est ce type de test A/B ou MVT qui ralentit la perception de résultats et la vélocité d’un programme d’optimisation.

Enfin le point le plus important est de connaître la santé de votre équipe CRO et de son programme d’optimisation. Ca semble évident dit comme ça et pourtant, où en êtes-vous ? Avez-vous un goulot d’étranglement au niveau de la recherche, la conception ou de la recette d’un test A/B ? Le volume de tests gagnants est très faible ? Vous avez trop de demandes et peu de temps pour analyser la pertinence des hypothèses ?

Je vous conseille de suivre un indicateur global pour déterminer la pertinence de votre programme :

OEC optimisation equipe CRO et nombre de tests A/B lancés

Plusieurs variantes sont imaginables et je reviendrai sur ce point dans un autre article.

Conclusion

Lancer plusieurs tests A/B en même temps n’augmente pas votre capacité à expérimenter, au contraire elle la ralentit ! L’impact sur les résultats est dramatique puisqu’il y a probablement de nombreux faux-positif. Aussi la détection des enseignements est quasi impossible ou au mieux limitée. A terme, cette organisation CRO devient contre productive pour la stratégie de l’entreprise en délivrant des constats faussés.

Ce travail d’accélération passe par une organisation structurée qui limite les idées les moins pertinentes au profit des autres. Il doit permettre d’accélérer toutes les autres phases : priorisation, impact des conceptions, limitation des bugs en production, ciblage adapté, automatisation de l’analyse, ….

La communication et l’évangélisation de ces contraintes doivent être une priorité pour le leader CRO. Par exemple, communiquer sur un modèle de priorisation objectif et une roadmap permet de limiter les questions des autres équipes. Pédagogie et transparence !

Pour finir un point positif, 75% des personnes qui répondu au sondage affirme lancer des tests A/B en parallèle !

Articles en relation :

Newsletter

Recevez les 10 meilleures actualités autour du CRO tous les mois: articles, process, outils, conférences, ...

Vous voulez savoir où et comment démarrer l'optimisation de votre site ?

Je peux détecter vos opportunités d'optimisation et vous délivrer les recommandations à appliquer, mais êtes-vous prêt ?

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.