Ce n'est sans doute pas la première fois (ni la dernière) que vous entendez parler d'A/B testing. Voilà plusieurs années que cette thématique s'est répandu sur la toile, et bon nombre d'articles de sites spécialisés ou généralistes ont consacré des articles détaillés quant au fonctionnement de cette pratique.

Toutefois, en dépit de cette colossale quantité d'informations dont disposent les entrepreneurs, clients, journalistes, ou développeurs, bon nombre d'entre eux commettent des erreurs de compréhension quant aux véritables buts et principes de l'A/B testing.

Nous avons choisi d'étudier l'A/B testing sous le prisme du e-commerce, et plus particulièrement de la plateforme Shopify. Comment cette technique garantit une optimisation de son taux de conversion ? Sur quels éléments - au sein de sa boutique Shopify - peut-on procéder à des tests comparatifs ? Quelles applications d'A/B testing offrent le plus d'avantages ? De quelle manière exploiter ses KPI avec Google Analytics ? Ce guide complet permettra de répondre à toutes ces questions.

Définition

L’A/B testing (ou test ab) désigne une procédure employée dans le marketing et qui permet de mesurer l’impact d’un changement de version d’une variable sur l’atteinte d’un objectif (clic, validation, remplissage d’un formulaire, etc..). Un test A/B permet donc de tester 2 versions de cette variable, et de comparer les différentiels de performance qui en résultent.

Appliqué au champ du e-commerce, l’A/B testing consiste donc en la mesure comparée des performances de deux versions d’une même page web, de telle manière à déterminer laquelle de ces deux versions fonctionne le mieux. Outre les pages, d'autres éléments peuvent être analysés via ce procédé : landing pages (pages retour), newsletters, le webdesign de la boutique, etc... Pour s’assurer de leur bon fonctionnement au sein d’une boutique e-commerce, nous étudierons leur influence sur le nombre de visites, nombre de clics ou nombre d’achats générés.

Exemple d’A/B test

Soit A et B les deux versions (ou variantes) de pages web à tester sur votre boutique Shopify. Vous testerez l’efficacité de la version A sur une échantillon représentant 50% des visiteurs, et B sur les 50% restants de visiteurs de la boutique.

La version de la page web générant le taux de conversion le plus élevé est celle qui sera jugée la plus performante. Elle "remportera" donc l’A/B test et sera installée en tant que version permanente de la page web concernée.

Toutefois, il est important de rappeler que plusieurs résultats obtenus peuvent être retenus en fonction du choix des indicateurs de performance retenus ainsi que des conditions dans lesquelles évoluent votre boutique Shopify. Des écarts trop faibles de taux de conversion entre deux variantes ne permettent pas de déterminer laquelle de A ou de B est véritablement la plus performante à long terme.

De plus, d’autres facteurs complémentaires doivent être mesurés afin de rendre le test le plus optimal possible : taux de clic, nombre de visites, temps moyen passé sur les pages, montant et valeur des achats générés au final, etc… Il est donc primordial d’intégrer un certain nombre d’indicateurs clés au test et de s’assurer que celui-ci soit mené à long terme, et non pas façon bâclée.

L’A/B/n testing

L’A/B/n testing correspond à version étendue de l’A/B test classique. Il vous permet de comparer plus de deux variantes distinctes d’une page web. Par exemple, si vous décidez d’inclure 4 variantes différentes au test, vous devrez répercuter cela sur la fragmentation de votre échantillon. Vos échantillons de visiteurs seront réparties de la façon suivante :

• 25% pour la version A
• 25% pour la version B
• 25% pour la version C
• 25% pour la version D

Attention : L’A/B/n testing ne doit pas être confondu avec le multivariate testing, ou test multi-variables en français. Le test multi-variable implique lui aussi la comparaison de variantes multiples (plus de deux), mais ne porte pas uniquement sur des pages web. En plus des pages web, plusieurs éléments ancrés au sein même des pages sont comparés dans le cadre de la procédure. Cependant, le test multi-variables s’adresse principalement aux boutiques générant un trafic important.

Quelle est la durée adéquate pour réaliser votre A/B test sur Shopify ?

Il est recommandé de réaliser votre ab test Shopify sur une période de deux cycles d’activité commerciale complets. Cela correspond généralement à une période de 2 à 4 semaines, tous secteurs confondus. Une période de test trop courte déboucherait à l’obtention de résultats limités et insuffisant pour produire des diagnostics pertinents. Tandis qu’un cycle de testing trop long présenterait l’inconvénient d’être biaisé.

Plus un test est long, et plus il est exposé à des risques d’externalités négatives susceptibles d’affecter l'échantillonnage initial. Certains visiteurs peuvent entre-temps supprimer des cookies de leur navigateur, ce qui fait qu’ils seront considérés comme de nouveaux visiteurs lors de leur prochaine visite sur la boutique, et dans le cadre de l’A/B testing. D’autres visiteurs peuvent progressivement passer de la navigation sur PC à la navigation mobile, ce qui là aussi pourrait biaiser certaines analyses.

Ne mettez pas votre test à l’arrêt dès que vous obtenez vos premiers résultats concrets, car il vous faudra recueillir davantage d’échantillons.

Les raisons pour lesquelles le cycle de testing doit être rallongé sont les suivantes. Vous devez prendre en compte :

• Le comportement des clients ou visiteurs hésitants lors de la navigation sur la boutique, et ainsi prendre le temps de déceler les raisons qui les freinent dans la finalisation de l'achat.
• Les diverses sources de trafic de votre site : requêtes de recherche Google, clics depuis les réseaux sociaux, backlinks, etc.
• Les diverses anomalies observables tout le long du cycle. Ex : l’impact du lancement d’une newsletter sur l’évolution du trafic.

Pour quelles raisons devez-vous réaliser des tests A/B sur votre boutique Shopify ?

L’A/B testing est d’abord un moyen d’optimiser votre taux de conversion. Comme expliqué précédemment, il permet au travers de tests comparatifs de déceler quelle serait la combinaison susceptible de booster au mieux votre business, parmi celles incrémentées dans votre store.

Mais même lorsque les A/B tests échouent - et cela arrive parfois - leur utilité demeure indéniable. Ces outils sont un moyen d'accroître la valeur ajouté de vos stratégies puisqu’ils permettent dans tous les cas de déceler de nouvelles informations clés, des choses qui vous échappaient jusqu’alors dans le fonctionnement interne de votre boutique Shopify.

Mais attention : L’A/B testing ne doit pas être considéré comme l’alpha et l’oméga de toute stratégie de conversion, que ce soit dans le e-commerce ou dans un autre secteur ! En effet, il n’est pas forcément nécessaire de réaliser ce type de test si vous venez de lancer votre boutique, et / ou si votre nombre de visites est faible. Dans ces cas précis, il est préférable de s'adresser directement à vos clients au travers de questionnaires, posts sur les réseaux ou messages personnalisés. Votre retour sur investissement sera alors plus élevé et vous pourrez mieux appréhender vos futures stratégies de conversion clients.

Quelles sont les choses qui doivent faire l’objet d’un test A/B sur Shopify ?

Il n’existe pas de façon idéale et parfaite de mener des tests A/B. La façon dont vous les menez dépend des données, de votre clientèle, et autres éléments de votre boutique Shopify. Vous devez aussi déterminer quels sont vos objectifs et quels sont les mesures à analyser et comparer.

Afin de vous aider dans la structuration de l’A/B test, nous vous suggérons de vous poser les questions suivantes :

• UX : Le chargement des pages de la boutique Shopify est-il satisfaisant sur l’ensemble des navigateurs ? Sur l’ensemble des supports (mobile, PC, tablette) ? Si les adeptes de l’iPhone X peuvent facilement naviguer sur votre boutique depuis leur mobile, ce n’est pas forcément le cas pour les utilisateurs du Motorala Razr, ou d’autres smartphones plus anciens avec des capacités limitées. Ainsi, vous devez vous assurer que le fonctionnement de la boutique soit optimale pour tout type de modèle, y compris les plus anciens.
• Questionnaires de satisfaction : Proposer des sondages aux visiteurs est un excellent moyen de recueillir des données qualitatives afin d’optimiser davantage votre taux de conversion. Vous pouvez par exemple intégrer, sur l’une des pages de la boutique, une fenêtre pop up où les visiteurs seront amenés à répondre à donner leur opinion sur l’ergonomie de la page, les atouts et défauts de la boutique, etc.
• Entretiens avec des clients : Rien ne remplace les entrevues avec les clients lorsqu’il s’agit de comprendre leurs besoins, notamment par téléphone. Vous pourriez par exemple leur poser les questions suivants : Pour quelle raison avoir choisi votre boutique plutôt qu’une autre d’un concurrent ? Quels étaient leurs besoins initiaux en se rendant sur votre site ?
• Test d’utilisateur : Le test d’utilisateur consiste tout simplement à faire tester votre boutique à des utilisateurs à distance. Plusieurs outils peuvent vous aider pour mener à bien ces user testing, tels qu’Userlynx.

Comment hiérarchiser ses A/B tests ?

Le fait d’avoir de nombreuses idées pour réaliser son test A/B est une très bonne chose. Mais cela complique la tâche lorsqu’il s’agit de décider quels sont les éléments à tester sur la boutique. Par où commencer ? La hiérarchisation des priorités permet justement de répondre à ce question.

Il existe divers cadres de références (aussi appelés frameworks) que vous pouvez exploiter :

• ICE : Le modèle ICE pour Impact, Confidence and Ease (impact, confiance et facilité) repose sur l’évaluation de ces 3 facteurs, sur une échelle de 1 à 10. Par exemple, si vous pouvez mener ce test sans l’intervention technique d’un développeur, sans avoir de connaissances techniques très étroites, alors vous pourrez mettre la note de 8/10 en terme de facilité. Il est nécessaire de mener ces tests de façon objective, c’est à dire individuelle. Certains critères peuvent en raison de leur signification ambiguë, être interprétés de différentes façons. Exemple : nous n'avons pas tous la même interprétation du terme "facilité", un terme dont l'utilisation est parfois assez floue et abusive. Le fait de mener ces tests à plusieurs peut donc fortement influencer votre perception, mais dans le bon sens.
• PIE : Le modèle PIE pour Potential, Importance and Ease (potentiel, importance et facilité) repose sur la même échelle d’évaluation, de 1 à 10. Si le test permet d'atteindre un trafic sur votre site équivalent 90% de ce qui était fixé initialement, alors le critère Importance sera évalué à 8. Ainsi, le modèle PIE peut s'avérer aussi subjectif que l'ICE selon la manière d'interpréter le sens des termes "importance", "facilité" ou "potentiel".
• PXL : Méthode de hiérarchisation issue de la méthode CXL. Elle est davantage personnalisable que les précédentes méthodes, et permet de faire preuve de plus d'objectivité dans la manière d'analyser les résultats. Au lieu de proposer 3 critères d'évaluation, vous devez soumettre des questions fermées, dont les réponses sont Oui ou Non, en plus d'une question relative à la facilité d'installation du test. Par exemple, à la question "Ce test est-il conçu de façon à accroître la scalabilité de la boutique ?", si la réponde est Oui, alors le score attribué est de 1, si Non, le score est égal à 0.

Comment mettre en place son test A/B sur Shopify ?

Avant de tester quoi que ce soit, il est au préalable nécessaire d’avoir des hypothèses et scénarios crédibles. Vous devez en fait tester et évaluer la probabilité de concrétisation d’une hypothèse, et non tester une idée déjà matérialisée. Une hypothèse est quelque chose de mesurable, qui vise à résoudre spécifiquement des problématiques de conversion de clients, et repose sur des perceptions plutôt que sur des résultats concrets.

Le choix de l’outil d’A/B testing

Trois solutions sont généralement recommandées dans le choix de l’outil d’A/B testing : Google Optimize, Optimizely et VWO. Nous détaillons ici le fonctionnement de ces outils et leur spécificité.

• Google Optimize

Tarif : gratuit

Disponible en français : Oui

Fonctionnalités : intégration avec Google Analytics, reporting, éditeur visuel WYSIWYG (What you see is what you get),

En plus d’être gratuit, Google Optimize offre un très grand nombre d’outils disponibles. L’application propose un outil de classement des mots clés, un outil pour les liens brisés, un outil pour la surveillance des médias sociaux et ainsi de suite. Google Analytics a essayé de réduire le nombre d’outils en centralisant bon nombre d’entre eux, comme l’explique Sean McQuaide de LunaMetrics :

"l’intégration native de Google Optimize avec Google Analytics est ce qui le distingue des autres".

Il existe pour les entreprises de grande taille, une version payante plus avancée, appelée Google Optimize 360. Cette application propose notamment les fonctions suivantes :

• Nombre illimité de tests simultanés
• nombre illimité de tests multivariés
• ciblage d’audiences Google Analyticsd
• possibilité de revenir en arrière et de modifier l’objectif de l’expérience pour voir comment l’expérience aurait eu un impact sur les autres objectifs de Google Analytics.

• Optimizely

Téléchargement

Tarif : Aucun tarif n'est communiqué sur leur site. Seules le fonctionnement des 3 formules suivantes est exposé

• Standard : comprend les options d'éditeur visuel, la possibilité d'effectuer des expérimentations multiples, sur plusieurs pages différentes
• Business : possibilité d'attribuer des rôles et des attributions spécifiques à des personnes externes impliquées dans l'A/B test. Extensions disponibles
• Enterprise :

Disponible en français : Non

Fonctionnalités : Split URL, planificateur de tests, rapport automatique par email, mode de simulation, rapports en temps réel, fonction Stats Engine.

Optimizely est une solution en ligne aux fonctionnalités élargies. Elle permet de personnaliser l’affichage des pages de votre site web ou de votre application mobile en fonction de plusieurs critères. Solution deux en uns et très simple d’utilisation, Optimizely peut être utilisée sans aucune connaissances techniques et de manière très flexible. Peut-être moins complet que ses concurrents, Optimizely n’en demeure pas moins un outil idéal pour débuter.

Son grand point fort réside dans le fait de pouvoir réaliser des tests A/B très poussés de manière très intuitive. Sur cet outil, le process est relativement simple et commence par la création des différentes versions. Vous pouvez aussi paramétrer des testings « multivariate », ce qui permet de modifier plusieurs éléments de pages en même temps. La fonctionnalité Split URL, qui permet de faire des tests au niveau de votre entonnoir de conversion, est également présente. Il est par ailleurs possible de segmenter vos visiteurs et de cibler vos campagnes d’A/B Testing en fonction de plusieurs critères distincts.

• VWO (Visuel Web Optimizer)

Téléchargement

Tarif :

• Formule Growth : $299 / mois
• Formule Pro : $599 / mois
• Formule Entreprise : prix à déterminer selon le nombre d'options inclues. Contactez le service client pour plus de détails.

Disponible en français : Non

Fonctionnalités : Split URL, intégration à Google Analytics, heatmaps, clickmaps, questionnaires personnalisés.

Visual Website Optimizer est un logiciel d’A/B Testing assez proche dans son approche et dans son fonctionnement qu’Optimizely. Son éditeur visuel est impressionnant de simplicité. Pas besoin d’un fin connaisseur du langage HMTL et de l’analytics pour utiliser VWO. Le logiciel vous accompagne étape par étape tout au long de la procédure de création de campagne. Vous l’aurez compris, faire de l’A/B Testing avec Visual Website Optimizer est un vrai jeu d’enfant.

Visual Website Optimizer dispose tout comme avec Optimizely, des fonctionnalités de Split URL et de multi-variante test qui permettent d’aller beaucoup plus loin que la simple comparaison de deux pages. Vos campagnes d’A/B Test peuvent être ciblées en fonction de critères comportementaux et techniques. Vous pouvez également tracker les revenus générés par vos campagnes et relier VWO à des outils tiers, dont Google Analytics.

Le petit plus de Visual Website Optimizer est la possibilité d’intégrer des heatmaps et des clickmaps pour mieux visualiser et analyser le comportement de vos visiteurs sur vos pages. Autre caractéristique de Visual Website Optimizer : la possibilité d’adresser un petit questionnaire personnalisable aux visiteurs qui ont été testés. Cela garantie l'obtention de feedbacks de bonne qualité et fiables.

Comment analyser les résultats des tests A/B ?

L’un des éléments clés inhérent à l’analyse des résultats est la segmentation. Même lorsque le test se révèle être un échec, du fait de résultats peu concluants obtenus en termes de conversion, les résultats peuvent différer selon les segments ciblés et certains d’entre eux peuvent même performer.

Par “segment”, nous entendons les domaines suivants :

• Nouveaux visiteurs obtenus
• Visiteurs revenant sur le site après une longue période d'absence
• Personnes visitant le site depuis iOS (système d’exploitation de l’iPhone)
• Personnes visitant le site à partir du navigateur Safari
• Personnes visitant le site à partir du navigateur Google Chrome
• Personnes visitant le site à partir depuis un PC bureau
• Personnes visitant le site à partir depuis une tablette
• Personnes visitant le site à partir de recherches organiques
• Personnes visitant le site en cliquant sur une page depuis les réseaux sociaux
• Nombre d’acheteurs étant connectés (sur la boutique) au moment de la navigation

Conclusion

Vous disposez maintenant de toutes les clés nécessaires afin de mener à bien votre propre A/B testing depuis votre boutique Shopify. Peu importe que vous soyez débutant ou expert de cette plateforme. L'important est que vous vous posiez les bonnes questions : quels indicateurs de performance faire évoluer ? Quels éléments de votre site web souhaitez vous comparer ? Quels sont vos objectifs en terme de taux de conversion ?

Il est bien sûr normal de commettre des erreurs à vos débuts, car la maîtrise de l'A/B testing prend un certain temps. Dans le cadre du développement de boutiques Shopify, l'agence Studio Zerance peut vous accompagner dans le cadre de la préparation, la conception et la réalisation complète de votre A/B testing. Pour plus d'informations à ce sujet, contactez-nous depuis le lien suivant : Contact.