Récapitulatif de CXL Live 2019 : ce qu'il faut retenir de chaque orateur

Quelle affluence—24 conférenciers sur trois jours dans une station balnéaire pittoresque. Ajoutez à cela 400 anciens et nouveaux visages, de nombreuses conversations, de la musique live et plus que quelques bières. CXL Live est une expérience.

Il y avait aussi ceci : Notre vidéo d'ouverture qui a révélé tous les secrets de la croissance… de la croissance :

Si vous vous demandez ce que vous avez manqué, voici les faits saillants de chacune des sessions au CXL Live cette année.

Els Aerts : « L'art perdu de poser des questions »

• Les sondages sont nuls, mais la plupart des sondages sont nuls. Ils peuvent fonctionner si :
  • Vous répondez correctement à vos questions de recherche.
  • Vous arrêtez de vous concentrer sur la présentation de « chiffres » et la présentation d' informations.
• Comment poser les bonnes questions :
  • Ne posez pas de questions sur l'avenir (par exemple, « Si nous ajoutions la fonctionnalité X, quelle serait la probabilité que vous achetiez Y ? » ; vos utilisateurs ne sont pas des médiums.
  • Ne posez pas de questions sur des choses qui sont trop lointaines dans le passé – la mémoire humaine est extrêmement peu fiable.
  • Ne posez pas de questions suggestives. (par exemple, ne demandez pas à quel point quelque chose était « bon » ; demandez-lui à quel point c'était « bon ou mauvais » ou simplement « comment » c'était.)
• Les questions biaisées vers le négatif peuvent fournir plus de commentaires (par exemple « À quel point cela a-t-il été difficile de… »).
• L'endroit et le moment où vous livrez une enquête peuvent avoir un impact sur les résultats. S'il s'agit d'une section du site où l'utilisateur éprouve de la douleur, cela biaisera les réponses.
• Les pages de confirmation et de remerciement sont d'excellentes occasions de poser des questions aux gens. (par exemple, avez-vous considéré un concurrent ? Si oui, quelles caractéristiques avons-nous qui vous ont poussé à nous choisir par rapport à eux ?)
• Lorsque vous organisez des entretiens, appelez-les « chats », pas des entretiens, et traitez-les comme des chats ; anticiper où la conversation pourrait aller et écouter, écouter, écouter.

Joanna Wiebe : « Writing Mirrors : Comment utiliser la voix du client pour rédiger une copie à haute conversion »

• 90% de la rédaction est à l'écoute.
• L'objectif est d'écrire une copie dans laquelle les gens se voient : leur moi actuel et leur prochain moi immédiat.
• Validation pour copie : cela pourrait-il être une percée ou un échec ? Est-ce que cela pousse suffisamment les choses pour être une percée totale ? Ou absolument horrible ?
• Aller au-delà des sources standards de voix des données clients ; les meilleures options sont :
  • Interviewez les fondateurs (les « clients » originaux );
  • Enquêtes sur les pages de remerciements ;
  • Usertesting.com ;
  • appels de vente de mines ;
  • Tickets d'assistance aux mines ;
  • Mine de commentaires Facebook ;
  • Mine de commentaires en ligne.
• Les entretiens avec les fondateurs peuvent trouver l'histoire, la proposition de valeur et la grande idée.
  • Faites l'interview sur vidéo et enregistrez-la (avec permission).
  • Transcrivez l'interview (rev.com).
  • Imprimez et lisez la transcription avec un surligneur : qu'est-ce qui ressort ? Qu'est ce qui est different?
• Les appels de vente et les enregistrements de démonstration peuvent tracer des séquences de communication, des hiérarchies et aider à rendre la copie fidèle.
  • Obtenez un aperçu du flux de la pensée réelle de votre prospect.
  • Regardez leurs expressions pendant qu'ils voient la démo.
  • Passez aux parties où le prospect parle.
  • Surveillez les moments « de style documentaire ». (Par exemple, si vous donnez la transcription à quelqu'un, peut-il la jouer ? C'est un bon moment.)
  • Surveillez les phrases comme « Je m'inquiète pour… » et « Pouvez-vous me montrer… »
  • Taguez ce que vous trouvez pour pouvoir l'utiliser dans votre copie (#objection #late-stage, etc.).

Carrie Bolton : « Devenez réaliste avec vos clients et vos cadres – Comment améliorer réellement l'expérience client

• L'expérience client est la perception qu'a le client de son interaction avec votre entreprise.
• Vanguard a décidé que se concentrer sur l'expérience client l'aiderait à se différencier de ses concurrents :
  • Mettre en place une expérimentation autour de la personnalisation et de la personnalisation de l'expérience client.
  • Ex. Les clients se connectent en ligne pour éviter d'appeler - page reconstruite pour la rendre plus conviviale et réduction ciblée des taux d'appels des clients.
• Comment faire le cas en externe:
  • Obtenez des informations concurrentielles de votre industrie ou des entreprises les plus performantes (par exemple USAA, CIGNA) ;
  • Recherche Forrester;
  • Blogs d'expérience client.
• Comment faire le cas en interne :
  • Recherches quantitatives ou qualitatives auprès de vos clients (ex : digital analytics, études de marché).
  • "Parlez aux gens qui parlent aux gens."
  • Parlez à votre personnel financier : quels indicateurs de performance attirent l'attention ?
• Dites de ne pas vendre.
• Lorsque vous « vendez », les gens voient à travers.
• L'enquête et les commentaires des clients peuvent révéler des commentaires honnêtes et nécessaires pour aider à savoir quoi leur «dire».

Judah Phillips : « Comment j'ai appris à ne plus m'inquiéter pour l'apprentissage automatique et à aimer l'IA »

• L'intelligence artificielle donne aux analystes la possibilité de regarder vers l'avenir lorsqu'ils prennent des décisions, plutôt que dans le rétroviseur.
• Nous sommes actuellement au début de l'IA pragmatique (par exemple Siri, Alexa)
• L'IA fait également son entrée sur le lieu de travail (par exemple, les moteurs de recommandation, les chatbots, les suggestions automatisées de collaboration).
• L'IA est tout ce qui prend des données historiques (données d'entraînement) et apprend des performances passées de ces données ; il s'agit généralement d'un apprentissage automatique supervisé.
• L'apprentissage profond est l'idée de réseautage neuronal. C'est un domaine où les attentes sont exagérées.
  • Les réseaux de neurones convolutifs (CNN) sont utilisés pour la reconnaissance d'images et de vidéos.
  • Les réseaux de neurones récurrents sont bons pour les données de séries chronologiques.
  • Les réseaux contradictoires génératifs (GAN) sont bons pour créer de fausses données et images à partir d'autres données et images sur lesquelles vous vous entraînez.
• Que faire avec l'IA :
  • Prédire le taux de désabonnement ;
  • Identifier les offres à envoyer à un particulier ;
  • Accélérer l'innovation ;
  • Personnaliser le contenu ;
  • Marketing basé sur les comptes ;
  • Attribution algorithmique ;
  • Prévoir l'ascenseur futur ;
  • Prédire le blâme.
• Comprendre ce que font les modèles (pas nécessairement les algorithmes sous-jacents) et savoir quand les appliquer et comment interpréter les résultats sont les compétences dont les analystes auront besoin.
• L'apprentissage automatique automatisé nous aidera à résoudre le problème d'avoir trop de données et pas assez de temps :
  • L'apprentissage automatique automatisé prédit en quelques minutes avec une grande précision.
  • Historiquement, cela a coûté cher. Pas plus. L'IA sans code vous permettra de le faire aujourd'hui.

Ton Wesseling : « La validation dans chaque organisation »

• Pourquoi nos emplois de CRO vont mourir : Les équipes fonctionnent à des rythmes différents.
  • Équipes de conversion : cycles d'expérimentation de 6 à 8 semaines ;
  • Équipes marketing : préparer, faire campagne, préparer, faire campagne ;
  • Equipes produit : sprints de 2 semaines.
• Les équipes de conversion/optimisation peuvent devenir un cauchemar pour les équipes marketing et produit.
• Les équipes d'optimisation ont beaucoup (trop) de fierté :
  • Ils disent aux autres équipes ce qu'ils font de mal.
  • Peut être suffisant et trop critique.
  • Les équipes d'optimisation devraient avoir plus d'humilité.
• Pourquoi cela pourrait être une bonne idée de tuer les équipes d'optimisation :
  • Optimisons-nous les seaux qui fuient ? Les équipes produit et marketing doivent être impliquées.
  • Le terme « optimisation du taux de conversion » ne décrit pas vraiment ce que nous faisons : nous aidons les clients à atteindre leurs objectifs commerciaux.
  • Pourquoi nous concentrons-nous toujours sur le Web ? Optimiser les e-mails, les réseaux sociaux, etc., c'est aussi de l'optimisation.
• L'optimisation est le KPI que vous essayez d'influencer.
  • Cela inclut parfois les clics, les comportements, les transactions par utilisateur, etc.
  • Vous devez optimiser la valeur à vie potentielle ; il devrait y avoir des KPI universels pour lesquels toutes les équipes optimisent.
• L'optimisation est une question d'effets : obtenir plus de résultats.
  • Comment faisons-nous cela? Tous les départements devraient travailler ensemble pour créer un « centre d'excellence de validation ».
  • Favorisez une croissance fondée sur des preuves au cœur de l'entreprise : démocratisez la recherche afin que les équipes de produits n'aient pas à se soucier des statistiques.
  • Priorisation de la mise en œuvre = Qualité des preuves x Effet potentiel sur les objectifs partagés.
• Ne soyez pas un pousseur; être un facilitateur.

Tammy Duggan-Herd : « Pièges de l'inconscient : comment la mauvaise application de la psychologie nuit à vos taux de conversion »

• Comprendre le comportement humain est compliqué, agir sur lui encore plus.
• Vous pouvez endommager les conversions, le marketing et votre marque si vous suivez les mauvais principes.
• La racine du problème est de savoir comment la recherche parvient au public :
  • Commence par un chercheur qui est sous pression pour produire des choses qui attirent l'attention dans les revues médiatiques/universitaires.
  • Les revues scientifiques ont un taux de rejet de 70 %, ce qui est très peu révélateur.
  • Quand quelque chose arrive à être publié, les communiqués de presse se concentrent sur la promotion, pas sur l'exactitude.
  • Les médias continuent d'étendre leurs revendications ; les blogueurs aggravent le problème.
  • Au final, nous consommons sur Twitter — 20 pages réduites à 160 caractères.
• C'est un jeu de téléphone - dans le meilleur des cas, l'information déformée n'a aucun effet ; le pire des cas est qu'il génère l'effet inverse.
• Pièges du praticien inconscient :
  • Simplification excessive. Les médias simplifient les résultats car ils doivent être concis, accrocheurs ; les qualificatifs et les nuances sont abandonnés.
  • Surestimation de la taille des effets. L'importance statistique n'est pas égale à l'importance pratique — l' ampleur de l'effet.
  • Généraliser à outrance. Nous ignorons souvent les limites des études, qui sont nécessaires car la plupart des études sont menées avec des étudiants de premier cycle dans un laboratoire (non représentatifs).
  • Isoler les résultats. Les médias traitent les résultats isolés comme définitifs ; aucune étude ne peut en dire beaucoup à elle seule ; des variables supplémentaires pourraient annuler/inverser l'effet.
• Il faut savoir éviter les écueils :
  • Lire l'étude originale. Qu'est-ce qui a été réellement trouvé ? Quelle était l'ampleur de l'effet ? Comment s'est-il déroulé ?
  • Ne vous laissez pas entraîner par des hacks.
  • Testez-le par vous-même. Soyez conscient de la façon dont cela pourrait mal tourner / se retourner contre vous.

Brian Cugelman : « Psychologie du consommateur, dopamine et conception de la conversion »

• La mythologie de la dopamine prétend que
  • La dopamine est le neurotransmetteur du plaisir ou du bonheur.
  • Les récompenses variables sont si puissantes que les utilisateurs ne peuvent pas y résister.
  • Des entreprises comme Facebook manipulent les gens avec de la dopamine.
• Si ces affirmations étaient vraies :
  • Les réseaux sociaux seraient un pur plaisir.
  • Nous serions tous des toxicomanes, accros à des manipulateurs diaboliques.
  • La plupart de l'humanité manquerait de maîtrise de soi.
• En réalité, la dopamine rend les gens énergisés et curieux.
  • Il fournit une récompense émotionnelle qui s'estompe rapidement, laissant les gens insatisfaits.
  • Les gens s'habituent aux déclencheurs, qui cessent de déclencher la dopamine.
  • Les récompenses de dopamine renforcent les comportements.
  • Trop peu de dopamine est associée à une déficience motrice.
• Comment déclencher la dopamine de notre public ? Offrir une promesse ou une surprise numérique :
  • Cadeau de bienvenue virtuel;
  • Offres d'enrichissement rapide ;
  • Boîtes mystères;
  • Les enchères;
  • Tirage au sort ;
  • Publicités : « À quoi ressemblent ces enfants stars aujourd'hui » ;
  • Enquêtes/quiz BuzzFeed, par exemple Quel chien êtes-vous ?
• Comment utilisons-nous cela dans le marketing numérique?
  • Conseils visuels de cadeaux et récompenses ;
  • prix mystère;
  • Crochets éditoriaux ;
  • Propositions de valeur;
  • Déclarations de prestations ;
  • Tout indice de récompenses.
• Le cerveau s'habitue aux anciennes récompenses (par exemple, la cécité des bannières).
• Comment surmonter l'accoutumance ?
  • Offrez plus, mieux, plus grand.
  • Utilisez la nouveauté.
  • Incluez des surprises.
  • Retenez toute l'histoire.
  • Réduire la fréquence de sensibilisation.
  • Ajoutez des cadeaux aléatoires.
  • Reconditionnez les matériaux d'aujourd'hui.
  • Ajoutez des nouveautés.
  • Utilisez des récompenses variables.
• Utilisez l'incertitude à votre avantage :
  • Si vous offrez quelque chose avec l'expédition, utilisez une récompense aléatoire avec une anticipation renforcée.
• Utilisez la gestion des attentes, soyez direct, tenez vos promesses et vous aurez de la dopamine bien méritée.

Lukas Vermeer : « Démocratiser les expériences en ligne sur Booking.com »

• Chaque fois que quelqu'un vous montre des données, votre première question doit être « Où et comment ces données ont-elles été acquises/collectées ? »
• Certaines personnes interprètent à tort la validation basée sur les données comme une limitation à la liberté de création.
• Chez Booking, on a confiance dans la validité des données, et les décisions sont visibles par tous. Cela permet un processus décisionnel continu et individuel.
• « Le pluriel de l'anecdote n'est pas une donnée », nous avons besoin de preuves pour prendre des décisions.
• Évitez les jeux de devinettes (par exemple, « Laquelle des deux couleurs de boutons est la meilleure ? ») :
  • Nous devrions plutôt faire des tests d'hypothèses, ce qui inclut une description beaucoup plus détaillée de la pensée derrière l'expérience.
  • Cela ne signifie pas que vous ne pouvez pas tester les couleurs des boutons, mais que vous comprenez bien mieux pourquoi vous le faites et quelles variantes vous devez tester.
• Modèle d'hypothèse : Théorie, Validation, Objectif.
• Il est essentiel de remettre en question votre propre compréhension du produit via l'expérimentation :
  • Il renverse le « tous les tests devraient gagner » en pensant à l'envers : « 9/10 tests échouent » (VWO), mais l'apprentissage n'est jamais un échec.
• Trouvez les plus petites étapes pour tester rapidement les hypothèses les plus risquées.

Ryan Thomas : « Optimiser les inscriptions par e-mail »

• La capture d'e-mails peut parfois aller à l'encontre de vos objectifs principaux
  • Ex. L'optimisation d'une fenêtre contextuelle de concours a entraîné une augmentation de plus de 300 % des inscriptions par e-mail, mais le taux de conversion du commerce électronique et l'AOV ont chuté
  • Le correctif : remplacer le concours par une offre qui incite à la vente dès maintenant (combinaison d'offre de bienvenue et de sortie d'une petite remise)
  • Augmentation similaire des inscriptions par e-mail et augmentation du taux de conversion des transactions et des revenus
• Pourquoi se concentrer sur les inscriptions par e-mail ?
  • Regardez les données : le trafic de messagerie est souvent le plus performant ; Exemple de décalage temporel et de longueur de chemin : les deux tiers convertissent le même jour mais moins de la moitié au premier point de contact
  • Construisez une relation avec votre client
  • Stratégie de test : KPI indépendant (peu susceptible d'entrer en conflit avec d'autres tests) ; Faible trafic : peut être en mesure de tester ici lorsque vous n'avez pas assez de macro-conversions ; Le test en tant qu'apprentissage : essayez la messagerie et la motivation
• Processus ResearchXL
  • Analyse heuristique
  • Suivi de la souris
  • analyses d'audience Internet
  • Test utilisateur
  • Enquêtes qualitatives
  • Analyse technique
• Enquêtes clients
  • Questions ouvertes et non suggestives
  • Renseignez-vous sur les motivations, le processus de prise de décision, les hésitations, les frustrations
• Les informations peuvent provenir de n'importe où
• Corréler les points de données pour prioriser votre feuille de route (PXL)
• Plus d'exemples :
  • L'optimisation d'une fenêtre contextuelle de concours pour un produit à achat fréquent a entraîné une augmentation des inscriptions par e-mail sans affecter les mesures de commerce électronique
  • Ajout d'une offre de bienvenue là où il n'y en avait pas avant une augmentation des inscriptions par e-mail de 95 % et une légère augmentation du taux de conversion des transactions
• Plats à emporter :
  • Alignez votre stratégie sur ce qui est important pour l'entreprise, sans aucune mesure de vanité.
  • Essayez différentes tactiques, outils, offres et conceptions.
  • Faire votre recherche!

Nina Bayatti : « Était-ce vraiment un gagnant ? Les données en aval de l'entonnoir que vous devriez suivre »

• Il existe des tonnes de mesures que vous pouvez surveiller :
  • Taux de conversion;
  • Taux de rebond;
  • Taux de clics;
  • Pages vues ;
  • Captures de plomb ;
  • Taux de conversion d'achat.
• Mais ils ne racontent pas toute l'histoire.
• Pour parvenir à des conclusions sûres, vous devez analyser les données de l'entonnoir de conversion.
• Chez ClassPass, ils considèrent que les références sont importantes pour attirer de nouveaux clients, il est donc logique d'encourager les références.
  • Ils ont testé en offrant 10 crédits gratuits pour s'entraîner avec un copain.
  • Les invitations ont augmenté de 50 % ; Augmentation de 35 % de l'acquisition de références.
  • Ensuite, ils ont remarqué qu'ils avaient cannibalisé d'autres canaux – les personnes converties en tant que références étaient des prospects déjà acquis auprès d'autres canaux.
• Configurer vos expériences pour réussir :
  • Définir des indicateurs de réussite.
  • Tenez compte de toutes les étapes de l'entonnoir lors de la détermination de la taille de l'échantillon (c'est-à-dire qu'il doit être suffisamment grand pour l'analyse du fond de l'entonnoir également).
  • Identifiez et répétez les leviers de l'entonnoir descendant.
  • Les incitations fonctionnent, mais elles peuvent trop bien fonctionner et convertir des personnes qui ne sont pas vraiment dans le service/produit ou cannibaliser d'autres canaux.
  • Tenez toujours compte de l'impact de vos tests gagnants sur votre croissance et vos coûts.

Eric Allen : « Perdre des tests peut aussi être gagnant. Comment valoriser et apprendre d'une expérience perdante.

• Le coût de l'expérimentation - vous espérez que les avantages l'emportent sur le coût.
• Pourquoi ça fait mal de perdre ? Les pertes sont plus importantes dans notre esprit que les gains.
• Apprendre sur la connaissance : la connaissance est finie ; concevez chaque expérience de manière à pouvoir en tirer des enseignements, même à partir de pertes.
• Échecs des tests de refonte d'Ancestry.com :
  • Premier test : Nous avons appris que nous avions trop changé, que nous devions isoler les variables.
  • Deuxième test : les consommateurs ne comprennent pas la différence entre les forfaits et choisissent simplement le prix le plus bas.
  • Troisième test : les pages d'offres sont trop complexes et les consommateurs passent trop de temps sur la page.
  • Quatrième test : trop de gens prennent actuellement un forfait à court terme.
  • Cinquième test : cela ne fonctionne tout simplement pas. Revenir à l'original.
• Apprenez à recadrer la perte : « Les tests A/B sont nos frais de scolarité. Apprendre coûte de l'argent. "
• Impact des tests :
  • Taux d'exécution de référence : 100 millions de dollars par an ;
  • Ascenseur d'essai : 10 % ;
  • Durée du test : 90 jours (25 %) ;
  • Impact négatif : 2,5 millions de dollars;
  • Revenu total : 97,5 millions de dollars.
• Impact de la mise en œuvre sans test :
  • Taux d'exécution de référence : 100 millions de dollars par an ;
  • Ascenseur d'essai : 10 % ;
  • Durée du test : 12 mois ;
  • Impact négatif : 10 millions de dollars;
  • Chiffre d'affaires total : 90 millions de dollars.
• Économies totales grâce aux tests : 7,5 millions de dollars.
• Apprendre d'une série de tests peut transformer les pertes en victoires.
• Plats à emporter :
  • James Lind : Il y a un coût, mais aussi un avantage.
  • Jeff Bezos : Continuez à faire des expériences.
  • Jay-Z : Les pertes sont des leçons.

Stefanie Lambert : « Real Talk : les dures leçons apprises lors de l'élaboration d'un programme d'optimisation »

• La sensibilité à la culture organisationnelle facilitera la vie de chacun.
  • Si une entreprise fait les choses d'une manière différente, cela peut signifier que vous devez vous adapter.
• Le diable est dans les détails.
  • Nous avons dû relancer un test plusieurs fois car nous allions trop vite.
  • Pour un test simple, connecter Google Analytics à Google Optimize aurait pris quelques secondes, mais comme nous ne l'avons pas fait, nous avons perdu deux semaines.
• S'il n'est pas soutenu par des données, cela ne fonctionnera probablement pas.
  • Votre file d'attente de test doit être principalement constituée de tests basés sur des données.
  • Une ligne de vêtements voulait vraiment montrer la qualité de ses vêtements et agrandir ses images. Mais l'idée ne vient pas des données.
  • Lorsque nous montrons des images plus grandes, il y a moins de produits sur la page, ce qui réduit le CTR.
• Des données quantitatives et qualitatives sont nécessaires pour des résultats exceptionnels.
  • Après le déploiement d'un test, nous avons été déçus par une baisse de 20 % des mises en forme.
  • Le nouveau formulaire était plus beau et avait bien fonctionné ailleurs sur le site.
  • Nous avons filtré les enregistrements de session pour les cas d'utilisation du contrôle et de la variation.
  • Dans la nouvelle variante, le formulaire s'est suffisamment distingué pour que les visiteurs le reconnaissent comme un formulaire, donc plus d'utilisateurs sont partis, le formulaire décroissant commence.
• La curiosité n'a pas tué le chat.
  • Démarquez-vous en vous souciant suffisamment de poser des questions difficiles. (par exemple « C'est vraiment bien, mais cela pourrait-il être mieux ? »)
  • Lorsque j'ai commencé, je me sentais mal à l'aise de fonder des décisions commerciales importantes sur les données d'un outil.
  • J'ai dû apprendre les statistiques pour faire confiance aux données.

Lizzie Eardley : "Chasser les fantômes statistiques dans l'expérimentation"

• Fantôme statistique : lorsque vous pensez que votre test a eu un impact sur votre métrique, mais qu'en réalité il n'y a pas d'impact. Vous êtes dupé par les données
• A effectué 100 000 tests A/A : 60 % des tests A/A ont mesuré une différence d'au moins 1 %.
• « Non statistiquement significatif » ne signifie pas que cela n'a eu aucun impact, mais simplement que vous n'avez pas suffisamment de preuves pour rejeter l'hypothèse nulle.
• Quatre causes de fantômes statistiques :
  • Comparaisons multiples ;
  • Jetant un coup d'œil ;
  • Mauvaise métrique ;
  • Presque significatif.
• Comparaisons multiples :
  • Besoin de tenir compte de cela en ajustant la valeur p.
  • Le risque de faux positif s'applique à chaque comparaison.
  • Ex. 1 comparaison : 5 % de risque de faux positif ; 8 comparaisons, 34% de chance de faux positifs !
  • Basez l'hypothèse sur une métrique clé, puis choisissez des métriques secondaires.
• Coup d'œil :
  • Examiner les données et prendre des mesures avant la fin prédéterminée de l'expérience.
  • Cela peut avoir un effet énorme sur le taux de faux positifs.
  • Bonnes raisons de jeter un coup d'œil : Vérifier les bogues, arrêter les catastrophes, l'efficacité.
• Mauvaise métrique :
  • Une bonne métrique est significative, interprétable, sensible, adaptée au test.
  • Significatif : capture ce que vous aviez l'intention de changer.
  • Interprétable : il est facile de dire comment un changement a modifié le comportement de l'utilisateur.
  • Sensible : peut détecter plus rapidement des changements plus petits.
  • Ajustement pour le test : les tests normaux supposent l'indépendance et cette erreur est normalement distribuée.
• Presque significatif :
  • Le fantôme de la tentation. Les gens veulent croire ce qu'ils espèrent.
  • Il n'y a pas de « presque » significatif !

Emily Robinson : « 6 lignes directrices pour les tests A/B »

• Étapes du processus d'expérimentation :
  • Traiter. Vous ne pouvez pas tout faire et les choses que vous ne faites pas sont toujours importantes.
  • Création.
  • En cours d'analyse.
  • La prise de décision. Comment décider quoi faire ensuite ?
• Moins il y a de données, plus les opinions sont fortes. Nos opinions sont souvent fausses. Ne laissez pas les HiPPO (Opinion de la personne la mieux payée) tuer vos idées ; expérimenter à la place.
• Commencez par les données historiques : quelle est la population de votre idée de test ? Quel est votre taux de conversion actuel et votre augmentation estimée ?
• Exécutez l'analyse de puissance ! Important pour déterminer le point d'arrêt et éviter un faux négatif. (80 % signifie qu'il y a 80 % de chances que vous détectiez le changement s'il est là.)
• Si vous essayez plusieurs modifications à la fois, il sera impossible de comprendre ce qui n'a pas fonctionné ; travaillez plutôt sur des tests incrémentiels plus petits.
  • Etsy a commencé par publier toutes les modifications une fois les tests terminés.
  • Passage à un processus plus approfondi pour la mise en œuvre des modifications des tests A/B avec des cycles plus petits.
• Prototyper des idées avant de les diffuser.
• Faites participer un scientifique qui peut s'assurer que vous suivez les bonnes mesures. Ils peuvent également vous aider avec des calculs de puissance et itérer des idées.
• La prise de décision:
  • Quelle est la complexité technique et la dette que vous ajoutez ?
  • Est-ce une caractéristique fondamentale?
  • Pourrait-il y avoir un impact négatif trop faible pour être détecté ?
• Faites attention de ne pas lancer sur neutre - ne pas avoir une stratégie solide ou suffisamment de données pour soutenir la prise de décision.

Valerie Kroll : « Comment présenter les résultats des tests pour inspirer l'action »

• Lors de la présentation des données, la question clé est « Avec quoi voulez-vous que votre public reparte ?
• Formule modèle :
  • Pourquoi nous avons testé ;
  • Ce que nous avons testé ;
  • Résultats ;
  • apprentissages ;
  • Et après.
• Vos diapositives ne sont pas votre présentation. Vous êtes la présentation.
• Énoncez votre analyse de rentabilisation :
  • Où testes-tu ça ?
  • Qui est le public ?
  • Que vas-tu mesurer ?
• Énoncez la thèse. (par exemple, « une invite de discussion de proposition de valeur augmentera-t-elle la capture de prospects ?")
• Définissez comment l'expérience a été mesurée :
  • Énoncé d'hypothèse ;
  • KPI principal ;
  • KPI secondaires.
• Rendez vos présentations interactives : effectuez un sondage : demandez aux gens ce qui, selon eux, gagnerait.
• Présentation des résultats :
  • Impact sur le KPI principal ;
  • Une visualisation du KPI principal ; les gens comprendront mieux vos résultats.
  • Segmentation pour montrer ce que vous avez trouvé d'autre.
  • Gardez les apprentissages et les actions côte à côte. (Cela devrait prendre 40 à 50 % de votre temps de présentation.)
• Si quelque chose n'ajoute pas à votre présentation, cela lui enlève (par exemple des statistiques, des informations techniques, etc.).
• Ayez un modèle prévisible. Les gens savent à quoi s'attendre. Rend votre travail plus rapide.

Andre Morys : "Nous allons tous mourir : pourquoi l'optimisation est l'accélération de l'évolution"

• Effet Thatcher (1980, expérience en direct) : Il est difficile de reconnaître les changements d'une photo à l'envers d'un visage (Margaret Thatcher).
• Si vous ne connaissez pas le modèle, vous ne le reconnaîtrez peut-être pas. Il en va de même pour le CRO.
• Vous devez changer de perspective pour voir la vérité derrière les choses.
• Ex. Pourquoi la Commerzbank est-elle en train de mourir ?
  • Franchement, l'expérience est nulle.
  • Mais pourquoi? Ils ont des designers, des CRO, des analystes
  • HiPPO ignorants : la direction ne ressent pas la douleur.
• « La vérité, plus précisément une compréhension précise de la réalité, est la base essentielle pour produire de bons résultats. »
• Ne parlez pas de business models disruptifs ; ceux qui perturbent n'en parlent pas. Ils sont trop occupés à perturber.
• La croissance numérique ne vient pas de la technologie ; il est basé sur une excellente expérience client.
• S'il n'y a aucune intention de tester l'expérience client, vous ne verrez pas de résultats.
• L'optimisation est par nature agile : le CRO fournit de nouvelles données à l'équipe pour prouver que tout ce que l'organisation a fait était bon ou mauvais.
• Les bons optimiseurs génèrent des idées centrées sur le client.
• L'avantage d'Amazon est qu'ils génèrent en permanence de nouvelles informations.
  • C'est une vague, l'agile tsunami. (Vous ne pouvez pas le voir.)
• Processus d'optimisation à l'infini : analyser, hiérarchiser, valider.
• Changer l'état d'esprit de la direction.
  • La direction ne se soucie pas de ce qui a changé sur le site Web.
  • Présenter le ROI du programme d'expérimentation à la direction.
  • Conseil : Devenez ami avec le directeur financier.
  • Tables rondes C-Suite—permettent à la direction de discuter de leurs problèmes et ensuite d'être ambitieux (c'est-à-dire vendre le programme).
  • La direction veut de grandes choses ! Cependant, ils oublient que de plus petits changements donnent des résultats plus importants (effet composé).

John Ekman : « Ce qui est cassé dans la transformation numérique (et comment y remédier)

• La « transformation numérique » n'est pas un bon objectif :
  • Les objectifs sont de « mettre le produit sur le marché rapidement » ou « un bon service client ».
  • On se fixe (à tort) l'objectif de « transformation numérique » alors que les objectifs ne devraient pas changer, seulement les outils pour les atteindre.
• Les cinq voies de la transformation numérique :
  • Numériser le produit ;
  • Envelopper une couche de service numérique autour du produit ;
  • Numériser les processus « en coulisses » ;
  • Numériser les efforts de marketing, de vente et de rétention ;
  • Innover de nouveaux produits numériques.
• Nous devons sélectionner et prioriser parmi les cinq voies de la transformation numérique ; même les leaders numériques peuvent exceller d'une ou de deux manières, mais pas d'autres.
• Le leadership pense qu'il dépense des tonnes d'argent ; les praticiens ont l'impression de ne pas avoir de ressources.
  • La réalité est que c'est la croissance des bâtons de hockey - vous devez dépenser des tonnes d'argent avant de voir des résultats (et les résultats sont alors exponentiels).
  • Allouer un budget aux nouvelles initiatives avant d'allouer aux initiatives en cours .
• Objectifs et évaluation mal alignés :
  • Les petits projets ne sont pas organisés dans le cadre d'une grande image.
  • Avec la transformation numérique, nous ne connaissons pas l'ampleur du retour ou de l'investissement nécessaire ; ne regarder que le ROI ne vous propulse pas dans le futur.
  • Solutions : OKR (Google), comptabilité de l'innovation (Eric Ries), financement mesuré (VC).
• Trois super-pouvoirs numériques :
  • Capacité à (1) écouter les clients ;
  • Lorsque vous écoutez, vous pouvez (2) agir ; sinon, vous agissez sur la mauvaise information.
  • Si vous avez les deux, vous pouvez (3) mettre à l'échelle ; sinon, vous redimensionnez la mauvaise chose.

Will Critchlow : « Et si vos tests CRO gagnants gâchaient votre trafic de recherche ? Ou vos changements de référencement détruisent votre taux de conversion ? »

• L'inquiétude générale est que le SEO va bousiller le CRO, et non l'inverse.
  • Le CRO s'occupe du bas de l'entonnoir (plus de personnes se convertissant en ventes).
  • Le référencement traite du haut de l'entonnoir (ajout de plus de personnes à l'entonnoir).
• De nombreuses pages CRO ne sont même pas indexées, mais beaucoup le sont, et les tests CRO peuvent nuire au trafic organique. (Nous l'avons vu arriver.)
• Expérience : les référenceurs et les spécialistes du marketing non numérique ont été invités à évaluer laquelle des deux pages pourrait être mieux classée :
  • Personne n'a réussi à atteindre 50% de précision dans la prédiction.
  • Les SEO n'étaient que légèrement meilleurs que les non-SEO.
• Alors comment faire de meilleures prédictions ? Tests SEO (DistilledODN).
• Les changements qui fonctionnent pour un créneau peuvent ne pas fonctionner pour un autre - nous devons tester.
  • Les « meilleures pratiques » en matière de référencement sont spécifiques au site/à l'industrie.
• L'UX est un facteur de classement (peut-être) :
  • Google forme des modèles d'apprentissage automatique pour qu'ils aiment les mêmes choses que les gens aiment.
  • Mais Google n'est pas parfait, chaque changement d'algorithme ne parvient pas à cet objectif, mais c'est ce qu'ils essaient de faire.
  • Ainsi, nous devrions construire des hypothèses de référencement à partir des fondamentaux de l'UX.
• En fin de compte, nous devons tester l'impact du SEO et du CRO en même temps, et nous en tirerons profit. Nous sommes dans la même équipe.

Brennan Dunn : « Comment offrir des expériences entièrement personnalisées à grande échelle »

• Beaucoup de gens « pensent » qu'ils personnalisent, mais il y a beaucoup de personnalisation inutile.
• Les choses sur lesquelles je veux être personnalisé : mon intention, mes actions, mon niveau de connaissances.
• Deux tâches principales pour la segmentation :
  • Rendre votre message plus pertinent, plus spécifique ;
  • Utiliser la segmentation pour améliorer le reporting.
• Dans la segmentation, les deux choses qui m'intéressent sont le « qui » ​​et le « quoi » : « Je suis un [vide] et j'ai besoin de votre aide avec [vide]. »
• Comment segmenter automatiquement les personnes :
  • Intention/Comportement
    1. Quels sont les 10 à 20 derniers articles que quelqu'un a lus sur notre site ?
    2. Pages de destination originales.
    3. Annonce sur laquelle ils ont cliqué (en particulier pour les publicités Facebook).
    4. Références.
  • Actions
    1. Achats.
    2. Aimants en plomb.
    3. Webinaires.
  • Enquêtes
    1. Liens déclencheurs : « Qu'est-ce qui vous concentre le plus en ce moment ? »
    2. Enquêtes. « Que cherchez-vous à faire sur notre site aujourd'hui ? »
    3. Sondages hébergés.
  • Clearbit
• Et si vous ne savez pas comment segmenter ?
  • Lorsque quelqu'un rejoint un cours par e-mail ou télécharge un aimant principal, demandez-lui clairement. (par exemple, « Que devez-vous obtenir de ce cours par e-mail ? »)
• Avec la personnalisation, nous pouvons utiliser la messagerie de niche sans être réellement une entreprise de niche.
• Moins de réflexion, plus d'engagement = plus de conversions.
• En fin de compte, la personnalisation est la pertinence.

Chad Sanderson : « Aligner l'expérimentation sur le développement de produits et le marketing »

• Parfois, les départements de marketing et d'ingénierie veulent faire des expériences parallèles et se heurter à des conflits.
• Les personnes plus proches du produit sont plus attirées par l'entreprise.
• Différents types d'entreprises : Tech First (Bing, LinkedIn), Second (Booking.com, Grubhub), Third (Sephora, Target).
• Selon le type d'entreprise, vous avez des différences :
  • Optimisation. La fonctionnalité n'existerait pas sans l'outil d'expérimentation ; la conception de l'expérience peut se produire en dehors du cycle de sprint.
  • Validation. La fonctionnalité existerait indépendamment de l'expérimentation ; la conception de l'expérience fait partie du cycle de développement.
• La grande refonte de Snapchat a été critiquée dans 83% des avis d'utilisateurs, un exemple de catastrophe qu'un processus basé sur la validation aurait pu éviter.
• La vitesse de la page tue. L'optimisation tue-t-elle les taux de conversion de 5 % ou plus ? Les technologies d'expérimentation côté client ne parviennent pas à augmenter la latence de moins de 1000 ms. Toutes les 100 ms de latence entraînent une diminution de 0,5 % du RPV.
• Étapes vers le succès :
  • Comprendre votre structure actuelle : optimisation ou validation.
  • Déterminez où votre couverture fait défaut. Le retour sur investissement est-il suivi ? Le produit est-il livré avec des tests ?
  • Comblez l'écart entre les personnes et les services : obtenez des objectifs communs pour les mesures du programme.
  • Établir un forum pour partager les résultats et travailler sur des projets communs (résultats au niveau du programme global, pas de tests individuels).
  • Des réunions mensuelles pour examiner les métriques de manière cohérente et résoudre les forces opposées.

Natasha Wahid : « Comment faire en sorte que toute votre organisation soit enthousiasmée par l'expérimentation »

• La culture est un facteur d'expérimentation réussie. Prenons ce scénario :
  • Une femme championne de l'optimisation commence à rechercher des idées auprès de tout le monde pour les expérimenter.
  • Elle a des tonnes d'idées, mais parce qu'elle est un one-woman show, elle s'effondre.
  • Au bout d'un certain temps, cela devient une blague, un endroit où les idées vont mourir.
• Comment faire mieux ?
  • Inspirer—l'étincelle. Incitez les gens à agir.
  • Éduquer—former. Formel ou informel.
  • Informer—communiquer les connaissances, l'action.
• L'équipe de base est propriétaire du programme. Ils se concentrent sur l'adhésion des dirigeants et sur la création d'un élan.
• Ex. Envoyé
  • Michelle a souligné ce qui manquait à l'entreprise en n'optimisant pas ses entonnoirs de conversion principaux.
  • Recrutement d'un ingénieur en chef et d'un designer. Ils ont également fait appel à un partenaire habilitant d'un organisme extérieur.
  • Tout le monde pouvait voir l'impact de l'expérience. L'ingénieur a tout de suite codé en dur la variante gagnante.
• Ex. Carré
  • L'une des équipes produit les plus visibles avait subi une refonte qui s'est effondrée.
  • Animation d'ateliers axés sur le changement des mentalités autour de l'expérimentation.
  • Axé sur la promotion de la collaboration, en demandant aux équipes s'il y avait des idées d'autres expériences qui pourraient être pertinentes pour l'équipe actuelle.
• Modèle RACI :
  • R – responsable – faire le travail proprement dit ;
  • A – responsable – propriétaire du projet ;
  • C – consultant – fournissant des informations sur la gestion du processus ;
  • I – l'information – des personnes qui ont juste besoin d'être tenues informées.
• Exemple de communication RACI :
  • Propriétaire : Champion de l'expérimentation ;
  • Message : L'expérience X a été lancée ;
  • Canal : notification Slack ;
  • Public : Équipe d'ingénierie ;
  • Timing : automatiquement lorsque l'expérience est lancée dans l'outil.

Conclusion

Ce billet, c'est 21 séances d'une demi-heure condensées en moins de 5 000 mots. Si vous voulez vivre l'expérience complète, à l'intérieur et à l'extérieur des sessions de la conférence, vous devez simplement être là.

La bonne nouvelle? Vous n'avez pas besoin d'attendre une année complète. Join us at Digital Elite Camp in Estonia on June 13–15.