Framework testing Fauveaux Mathieu

Système de priorisation de test A/B

Après une période de découverte de l’A/B testing et de mise en place d’une organisation, vous allez lister de plus en plus d’idées de test.  Va alors se poser la question de la priorisation. Faut-il pousser vos idées, celles du boss ou les « quickwins » ?

Pour répondre à cette question, plusieurs systèmes de priorisation de tests A/B ont été développés pour animer correctement votre roadmap et mettre de côté vos idées qui ne sont pas des hypothèses de test argumentées ou pertinentes. Ça semble être un détail et pourtant, c’est peut-être le point le plus important.

Présentation des systèmes

Le P.I.E ou I.C.E

Le P.I.E a été créé par l’agence Widerfunnel et est surement le premier système de priorisation qui a été développé dans le testing. Il se base sur 3 variables notées sur 10 :

  • Potentiel – Quel est le R.O.I estimé de votre optimisation ?
  • Importance – Quelle est la visibilité du périmètre du test ?
  • Simplicité – Quel est la difficulté de développement ?

L’avantage du P.I.E est sa simplicité d’utilisation et de lecture :

Système de priorisation P.I.E de Widerfunnel.

Son inconvénient est le manque de précision et d’objectivité de ces variables. Comment allez-vous apprécier le potentiel d’une hypothèse ? Ce test vous tiens à cœur alors vous le noter 8/10 ? Ce n’est pas raisonnable et pourtant cette dérive sera courante.

Le C.I.E est une variante qui gomme en partie ce problème d’objectivité en utilisant une notation sur 4 au lieu de 10 :

Système de priorisation des tâches I.C.E

Ce système est meilleur mais reste encore trop « ajustable » dans certaines organisations.

HotWire’s Prioritization Model

Pauline Marol et Joséphine Foucher ont développé un framework de priorisation chez Hotwire. Le système de notation est binaire et les critères sont plus précis :

Système de priorisation d’optimisation Hotwire.

Le potentiel du P.I.E est remplacé par 2 critères objectifs et précis : Main metric et strategic topic. Ces points vont permettre de valoriser les tests stratégiques.

L’importance est remplacée par le ciblage et la localisation du test. Je ne trouve pas que le ciblage sur l’ensemble de la population soit un critère à prendre en compte. A terme les tests doivent être de plus en plus personnalisés et doivent s’adresser aux bonnes personnes.

Le critère de test au-dessus de la ligne de flottaison me semble trop aléatoire et laisse penser qu’aucun utilisateur ne scroll, ce qui est faux. Je ne recommande pas son utilisation.

Globalement, ce système est nettement mieux que le P.I.E ou le C.I.E, son sytème de notation binaire est simple d’accès et les critères précis. Mon seul reproche est le manque de critères pour pondérer la pertinence de l’hypothèse initiale.

PXL Framework de ConversionXL

L’agence ConversionXL a développé son framework de priorisation qui ressemble beaucoup au modèle proposé par Pauline Marol :

Système de priorisation proposée par ConversionXL.

Sa principale différence vient du fait qu’il pondère l’hypothèse du test par différentes études : Qualitatives, quantitatives, interview, … Ces critères sont simples et totalement objectifs, c’est un excellent point !

Le point faible de ce modèle vient du fait qu’il ne prend plus en compte les objectifs business de la marque. Finalement les tests stratégiques ne sont plus valorisés, dommage.

Retour d’expérience et système personnalisé.

Après avoir testé différents modèles chez mes clients et vu les problèmes que cela pouvait poser, je vous propose ce système de priorisation :

Système de priorisation d’AB Testing personnalisé.

Il est découpé en 3 groupes de critères qui reprennent les bases du P.I.E .

L’importance doit permettre de valoriser les tests stratégiques et ceux en lien avec vos objectifs. Par exemple vous pouvez avoir un objectif principal de souscription à une offre et un autre d’inscription au site. N’hésitez pas à adapter ces critères selon les vôtres.

Les critères de pertinence vont vous obliger à appuyer vos hypothèses de test A/B par des données objectives. Votre travail de recherche et d’analyse permet de limiter les risques et de travailler sur des tests innovants plus sereinement. On arrête avec le test de couleur du bouton 🙂

Enfin la dernière catégorie permet de valoriser les tests avec peu de contraintes. Préparer des tests simples vous permettra de combler les temps morts dans votre roadmap et de conserver une bonne dynamique.

Une note concernant le critère politique. Il n’est pas rare que vous ne puissiez jamais mettre en place une version de test gagnante. Pour avoir déjà vécu cette situation, vous pouvez vous dire qu’un test qui ne passera jamais en production pour des raisons politiques ne devrait pas être lancé… c’est une perte de temps et impacte le moral de votre équipe.

Ce sont des exemples de critères et je vous invite à les personnaliser en conservant sa philosophie. Que pensez-vous de ce modèle de priorisation ? Est-ce que vous en avez un autre ? Bon testing !

Laisser un commentaire

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *