Test d'utilisabilité A/B sans trafic

Un test A/B classique dépend d'un volume de trafic suffisant pour atteindre une signification statistique : sans visiteurs, il ne peut pas fonctionner. Le test d'utilisabilité A/B répond au même besoin, comparer une version originale à une variante, sans dépendre du trafic réel du site.

Le principe

Plutôt que de répartir les visiteurs réels du site entre deux versions d'une page, un petit panel de clients ou de clients potentiels est recruté et invité à examiner les deux versions, l'originale et la variante testée, puis à indiquer laquelle il préfère et pourquoi.

Ce que cette méthode apporte de plus qu'un test A/B classique

Un test A/B classique révèle quelle version convertit le mieux, sans expliquer pourquoi. Un test d'utilisabilité A/B révèle les deux à la fois : la préférence exprimée par les participants, et les raisons qu'ils donnent pour l'expliquer. Cette explication rend la méthode particulièrement utile pour tester des idées audacieuses qu'une équipe hésiterait à risquer directement sur un site en production, obtenir un retour rapide pour itérer vite, ou valider une hypothèse avant de la soumettre à un test A/B classique une fois le trafic disponible.

Application pratique

Cette méthode convient particulièrement à deux situations : un site dont le trafic est insuffisant pour atteindre une signification statistique en temps raisonnable, quelle qu'en soit la cause (activité saisonnière, lancement récent, niche étroite), et une idée jugée trop risquée pour être testée directement sur des visiteurs réels sans validation préalable. Une fois la préférence confirmée par un panel restreint, l'idée validée peut ensuite être soumise à un test A/B classique dès que le trafic le permet, plutôt que d'être déployée ou abandonnée sur la seule base de l'intuition.

Un site de change pour multinationales, dont le trafic restait trop faible pour un test A/B classique, illustre une application poussée de la méthode : plutôt qu'un test unique, une boucle itérative complète (titres, page d'accueil, wireframe, développement, mise en ligne) a soumis chaque étape à son propre test d'utilisabilité A/B avant de passer à la suivante. Voir Optimiser un site à faible trafic mais haute valeur (Millbank FX, étude de cas).