Le contenu prime sur l'outil de test A/B (la leçon de la guitare de Bruce Springsteen)
Ce n'est pas la guitare à 185 dollars qui a fait de Bruce Springsteen « The Boss »
- Mener une expérimentation nécessite seulement deux éléments : un créateur de contenu, pour produire la page à tester, et un « marqueur de score », le logiciel qui suit les taux de conversion — ce second élément occupe pourtant une place disproportionnée dans les décisions des entreprises qui hésitent à démarrer.
- Des entreprises comme Amazon et Facebook ne devinent jamais ce qui fonctionne : elles testent en continu, cumulant leurs gains dans une logique proche de la loi de puissance du CRO — le principe le plus déterminant reste de s'engager dans une culture d'expérimentation, pas de choisir le meilleur outil disponible.
- Bruce Springsteen raconte l'achat, en 1973, pour 185 dollars, de la guitare qu'il jouera pendant les quarante années suivantes — « la meilleure affaire de ma vie ». Ce n'est pourtant pas la guitare qui fait de lui « The Boss », mais la musique qu'il joue avec.
- Le même principe s'applique aux outils de test : ce n'est jamais l'outil qui génère des gains, c'est le contenu créé et testé avec — Roger Longbotham, ancien statisticien senior chez Amazon, formule le même constat : « What you place upon the statistical framework is what ultimately determines the attractiveness of your test results. »
- Le principe GIGO (garbage in, garbage out) résume l'idée : un test A/B ne fait qu'optimiser ce qu'on lui donne à tester — tester une mauvaise idée avec le meilleur outil du marché ne produit jamais qu'une « ordure optimisée ».
- Plutôt que de chercher un outil parfait qui n'existe pas, la question utile est : « Quel est le moyen le plus rapide de commencer à tester dès aujourd'hui ? » — la plupart des solutions du marché offrent des essais gratuits ou une facturation sans engagement, ce qui rend la procrastination rarement justifiée.
Ce qui accélère réellement la croissance
Des entreprises comme Amazon et Facebook ne devinent jamais ce qui fonctionne : elles testent en continu, cumulant leurs gains dans une logique proche de la loi de puissance du CRO. Le principe le plus déterminant pour accélérer sa croissance reste de s'engager dans une culture d'expérimentation — pas de choisir le meilleur outil disponible sur le marché.
L'anecdote de Bruce Springsteen
Dans ses mémoires Born to Run, Bruce Springsteen raconte l'achat, en 1973, pour 185 dollars, de la guitare qu'il jouera pendant les quarante années suivantes — « la meilleure affaire de ma vie ». Ce n'est pourtant pas la guitare qui fait de lui « The Boss », mais la musique qu'il joue avec. Le même principe s'applique aux outils de test : ce n'est jamais l'outil qui génère des gains, c'est le contenu créé et testé avec.
Roger Longbotham, ancien statisticien senior chez Amazon, formule le même constat autrement :
« What you place upon the statistical framework is what ultimately determines the attractiveness of your test results. »
L'agence résume ce même principe sous l'acronyme GIGO (garbage in, garbage out) : un test A/B ne fait qu'optimiser ce qu'on lui donne à tester — tester une mauvaise idée avec le meilleur outil du marché ne produit jamais qu'une « ordure optimisée ».
La question à se poser avant de choisir un outil
Plutôt que de chercher un outil parfait qui n'existe pas — et de retarder d'autant le premier test —, la question utile est : « Quel est le moyen le plus rapide de commencer à tester dès aujourd'hui ? ». La plupart des solutions du marché offrent des essais gratuits ou une facturation mensuelle sans engagement, ce qui rend la procrastination sur ce choix rarement justifiée.
FAQ
Quels sont les deux seuls éléments réellement nécessaires pour mener une expérimentation A/B ? Un créateur de contenu, pour produire la page à tester, et un « marqueur de score », le logiciel qui suit les taux de conversion et déclare un vainqueur une fois assez de données collectées. Ce second élément, l'outil de test, occupe pourtant une place disproportionnée dans les décisions des entreprises qui hésitent à démarrer.
Pourquoi le choix de l'outil de test occupe-t-il une place disproportionnée dans les décisions des entreprises ? Parce qu'il est plus facile de comparer des fonctionnalités logicielles que d'affronter la difficulté réelle, qui est de produire un bon contenu à tester. Or ce n'est jamais l'outil qui génère des gains, c'est le contenu créé et testé avec lui.
Que révèle l'anecdote de la guitare de Bruce Springsteen sur le rôle des outils dans un résultat ? Springsteen raconte l'achat, en 1973, pour 185 dollars, de la guitare qu'il jouera pendant les quarante années suivantes — « la meilleure affaire de ma vie ». Ce n'est pourtant pas la guitare qui fait de lui « The Boss », mais la musique qu'il joue avec ; le même principe s'applique à l'outil de test, simple instrument au service du contenu.
Qu'est-ce que le principe GIGO, et comment s'applique-t-il au test A/B ? GIGO signifie « garbage in, garbage out » : un test A/B ne fait qu'optimiser ce qu'on lui donne à tester. Tester une mauvaise idée avec le meilleur outil du marché ne produit jamais qu'une « ordure optimisée », quelle que soit la sophistication statistique de l'outil utilisé.
Qu'est-ce qui accélère réellement la croissance d'entreprises comme Amazon et Facebook ? Elles ne devinent jamais ce qui fonctionne : elles testent en continu, cumulant leurs gains dans une logique proche de la loi de puissance du CRO. Le principe le plus déterminant pour accélérer sa croissance reste de s'engager dans une culture d'expérimentation continue, pas de choisir le meilleur outil disponible sur le marché.
Quelle question faut-il se poser avant de choisir un outil de test A/B ? « Quel est le moyen le plus rapide de commencer à tester dès aujourd'hui ? » plutôt que de chercher un outil parfait qui n'existe pas. La plupart des solutions du marché offrent des essais gratuits ou une facturation mensuelle sans engagement, ce qui rend la procrastination sur ce choix rarement justifiée.
Faut-il investir massivement dans le meilleur outil de test disponible sur le marché avant de démarrer ? Non, car ce n'est jamais l'outil qui génère des gains, c'est le contenu créé et testé avec lui. Retarder le premier test en attendant de trouver l'outil parfait revient à sacrifier du temps d'expérimentation réel pour un choix dont l'impact reste secondaire face à la qualité du contenu testé.