Système de priorisation de test A/B

Après une période de découverte de l’A/B testing et de mise en place d’une organisation, vous allez lister de plus en plus d’idées de test.  Va alors se poser la question de la priorisation. Faut-il pousser vos idées, celles du boss ou les « quickwins » ?

Pour répondre à cette question, plusieurs systèmes de priorisation de tests A/B ont été développés pour animer correctement votre roadmap et mettre de côté vos idées qui ne sont pas des hypothèses de test argumentées ou pertinentes. Ça semble être un détail et pourtant, c’est peut-être le point le plus important.

Présentation des systèmes

Le P.I.E ou I.C.E

Le P.I.E a été créé par l’agence Widerfunnel et est surement le premier système de priorisation qui a été développé dans le testing. Il se base sur 3 variables notées sur 10 :

  • Potentiel – Quel est le R.O.I estimé de votre optimisation ?
  • Importance – Quelle est la visibilité du périmètre du test ?
  • Simplicité – Quel est la difficulté de développement ?

L’avantage du P.I.E est sa simplicité d’utilisation et de lecture :

Système de priorisation P.I.E de Widerfunnel.

Son inconvénient est le manque de précision et d’objectivité de ces variables. Comment allez-vous apprécier le potentiel d’une hypothèse ? Ce test vous tiens à cœur alors vous le noter 8/10 ? Ce n’est pas raisonnable et pourtant cette dérive sera courante.

Le C.I.E est une variante qui gomme en partie ce problème d’objectivité en utilisant une notation sur 4 au lieu de 10 :

Système de priorisation des tâches I.C.E

Ce système est meilleur mais reste encore trop « ajustable » dans certaines organisations.

HotWire’s Prioritization Model

Pauline Marol et Joséphine Foucher ont développé un framework de priorisation chez Hotwire. Le système de notation est binaire et les critères sont plus précis :

Système de priorisation d’optimisation Hotwire.

Le potentiel du P.I.E est remplacé par 2 critères objectifs et précis : Main metric et strategic topic. Ces points vont permettre de valoriser les tests stratégiques.

L’importance est remplacée par le ciblage et la localisation du test. Je ne trouve pas que le ciblage sur l’ensemble de la population soit un critère à prendre en compte. A terme les tests doivent être de plus en plus personnalisés et doivent s’adresser aux bonnes personnes.

Le critère de test au-dessus de la ligne de flottaison me semble trop aléatoire et laisse penser qu’aucun utilisateur ne scroll, ce qui est faux. Je ne recommande pas son utilisation.

Globalement, ce système est nettement mieux que le P.I.E ou le C.I.E, son sytème de notation binaire est simple d’accès et les critères précis. Mon seul reproche est le manque de critères pour pondérer la pertinence de l’hypothèse initiale.

PXL Framework de ConversionXL

L’agence ConversionXL a développé son framework de priorisation qui ressemble beaucoup au modèle proposé par Pauline Marol :

Système de priorisation proposée par ConversionXL.

Sa principale différence vient du fait qu’il pondère l’hypothèse du test par différentes études : Qualitatives, quantitatives, interview, … Ces critères sont simples et totalement objectifs, c’est un excellent point !

Le point faible de ce modèle vient du fait qu’il ne prend plus en compte les objectifs business de la marque. Finalement les tests stratégiques ne sont plus valorisés, dommage.

Retour d’expérience et système personnalisé.

Après avoir testé différents modèles chez mes clients et vu les problèmes que cela pouvait poser, je vous propose ce système de priorisation :

Système de priorisation d’AB Testing personnalisé.

Il est découpé en 3 groupes de critères qui reprennent les bases du P.I.E .

L’importance doit permettre de valoriser les tests stratégiques et ceux en lien avec vos objectifs. Par exemple vous pouvez avoir un objectif principal de souscription à une offre et un autre d’inscription au site. N’hésitez pas à adapter ces critères selon les vôtres.

Les critères de pertinence vont vous obliger à appuyer vos hypothèses de test A/B par des données objectives. Votre travail de recherche et d’analyse permet de limiter les risques et de travailler sur des tests innovants plus sereinement. On arrête avec le test de couleur du bouton 🙂

Enfin la dernière catégorie permet de valoriser les tests avec peu de contraintes. Préparer des tests simples vous permettra de combler les temps morts dans votre roadmap et de conserver une bonne dynamique.

Une note concernant le critère politique. Il n’est pas rare que vous ne puissiez jamais mettre en place une version de test gagnante. Pour avoir déjà vécu cette situation, vous pouvez vous dire qu’un test qui ne passera jamais en production pour des raisons politiques ne devrait pas être lancé… c’est une perte de temps et impacte le moral de votre équipe.

Ce sont des exemples de critères et je vous invite à les personnaliser en conservant sa philosophie. Que pensez-vous de ce modèle de priorisation ? Est-ce que vous en avez un autre ? Bon testing !

Articles en relation :

Newsletter

Recevez les 10 meilleures actualités autour du CRO tous les mois: articles, process, outils, conférences, ...

Vous voulez savoir où et comment démarrer l'optimisation de votre site ?

Je peux détecter vos opportunités d'optimisation et vous délivrer les recommandations à appliquer, mais êtes-vous prêt ?

3 Comments

Liste des événements CRO et UX en juin 2018 - Fauveaux Mathieu · 26 mai 2018 at 12 h 45 min

[…] connaissance dans ces domaines. Vous trouverez toujours une pépite précieuse sur les processus, la priorisation de vos tests ou la manière d’améliorer votre expérience utilisateur. Il n’y a pas de bullshit […]

Analyse test A/B : Darty expérimente un formulaire de connexion - Fauveaux Mathieu · 6 juin 2018 at 13 h 24 min

[…] Faut-il néanmoins lancer y dépenser de l’énergie et des ressources CRO ? Difficile de prioriser ce test A/B en haut d’une roadmap et je ne le ferais pas, d’autant plus que c’est compliqué de savoir pourquoi […]

Faut-il lancer plusieurs tests A/B en même temps pour en lancer plus ? - Fauveaux Mathieu · 30 septembre 2018 at 22 h 29 min

[…] second point est de prioriser sa roadmap d’optimisation avec un système de priorisation objectif. J’ai entendu quelques remarques sur le temps que […]

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.