Riepilogo CXL Live 2019: conclusioni da ogni relatore

Che fretta: 24 relatori in tre giorni in un pittoresco resort. Aggiungi a questi 400 volti vecchi e nuovi, molte conversazioni, musica dal vivo e più di qualche birra. CXL Live è un'esperienza.

C'era anche questo: il nostro video di apertura che ha svelato tutti i segreti per crescere... crescere:

Se ti stai chiedendo cosa ti sei perso, ecco i momenti salienti di ciascuna delle sessioni di CXL Live di quest'anno.

Els Aerts: "L'arte perduta di porre domande"

• I sondaggi non fanno schifo, ma la maggior parte dei sondaggi fa schifo. Possono funzionare se:
  • Hai risposto correttamente alle tue domande di ricerca.
  • Smetti di concentrarti sulla presentazione di "numeri" e sulla presentazione di informazioni.
• Come fare le domande giuste:
  • Non fare domande sul futuro (ad es. “Se aggiungessimo la Caratteristica X, con quale probabilità compreresti Y?); i tuoi utenti non sono sensitivi.
  • Non fare domande su cose che sono troppo lontane nel passato: la memoria umana è estremamente inaffidabile.
  • Non fare domande ambigue. (ad esempio, non chiedere quanto fosse "buono" qualcosa; chiediti quanto "buono o cattivo" o semplicemente "come" era.)
• Le domande tendenziose verso il negativo possono fornire più feedback (ad esempio "Quanto è stato difficile...").
• Il luogo e il momento in cui consegni un sondaggio può influire sui risultati: se si tratta di una sezione del sito in cui l'utente sta riscontrando problemi, influenzerà le risposte.
• Le pagine di conferma e di ringraziamento sono ottime opportunità per porre domande alle persone. (es. Hai considerato un competitor? Se sì, quali caratteristiche abbiamo che ti hanno fatto scegliere noi rispetto a loro?)
• Quando imposti le interviste, chiamale "chat", non interviste e trattale come chat; anticipare dove potrebbe andare la conversazione e ascoltare, ascoltare, ascoltare.

Joanna Wiebe: "Writing Mirror: come usare la voce del cliente per scrivere una copia ad alta conversione"

• Il 90% del copywriting è in ascolto.
• L'obiettivo è scrivere una copia in cui le persone si vedano: il loro sé attuale e il sé immediatamente successivo.
• Convalida per la copia: potrebbe essere una svolta o un fallimento? Sta spingendo le cose abbastanza per essere una svolta totale? O assolutamente terribile?
• Vai oltre le fonti standard di voce dei dati dei clienti ; le opzioni migliori sono:
  • Intervista ai fondatori (i “clienti” originari);
  • sondaggi sulla pagina di ringraziamento;
  • Usertesting.com;
  • Le mie chiamate di vendita;
  • I miei ticket di supporto;
  • I miei commenti su Facebook;
  • Le mie recensioni online.
• Le interviste ai fondatori possono trovare la storia, la proposta di valore e la grande idea.
  • Avere l'intervista in video e registrarla (con permesso).
  • Trascrivere l'intervista (rev.com).
  • Stampa e leggi la trascrizione con un evidenziatore: cosa risalta? Cosa c'è di diverso?
• Le chiamate di vendita e le registrazioni demo possono tracciare sequenze di comunicazione, gerarchie e contribuire a rendere la copia appiccicosa.
  • Ottieni informazioni sul flusso di come il tuo potenziale cliente sta effettivamente pensando.
  • Guarda le loro espressioni mentre vedono la demo.
  • Passa alle parti in cui sta parlando il potenziale cliente.
  • Guarda per i momenti "stile documentaristico". (ad esempio, se dai a qualcuno la trascrizione, può recitarlo? È un buon momento.)
  • Presta attenzione a frasi come "Sono preoccupato per..." e "Puoi mostrarmi..."
  • Tagga ciò che trovi in ​​modo da poterlo utilizzare nella tua copia (#obiezione #late-stage, ecc.).

Carrie Bolton: "Sii reale con i tuoi clienti e i tuoi dirigenti: come migliorare davvero l'esperienza del cliente

• L'esperienza del cliente è la percezione del cliente della sua interazione con la tua attività.
• Vanguard ha deciso che concentrarsi sull'esperienza del cliente li avrebbe aiutati a differenziarsi dai concorrenti:
  • Imposta la sperimentazione sulla personalizzazione e la personalizzazione dell'esperienza del cliente.
  • Ex. I clienti vanno online per evitare di chiamare: pagina ricostruita per renderla più facile da sperimentare e riduzione mirata delle tariffe delle chiamate dei clienti.
• Come fare il caso esternamente:
  • Ottieni informazioni sulla concorrenza dal tuo settore o dalle aziende best-in-class (es. USAA, CIGNA);
  • Forrester ricerca;
  • Blog sull'esperienza del cliente.
• Come fare il caso internamente:
  • Ricerca quantitativa o qualitativa dei tuoi clienti (ad es. analisi digitali, ricerche di mercato).
  • “Parla con le persone che parlano con le persone.”
  • Parla con i tuoi addetti alla finanza: quali indicatori di performance attirano l'attenzione?
• Dillo non vendere.
• Quando "vendi", le persone ci vedono.
• Il sondaggio e il feedback dei clienti possono rivelare un feedback onesto e necessario per sapere cosa "dire loro".

Judah Phillips: "Come ho imparato a smettere di preoccuparmi dell'apprendimento automatico e ad amare l'IA"

• L'intelligenza artificiale offre agli analisti la possibilità di guardare avanti quando prendono decisioni, anziché nello specchietto retrovisore.
• Attualmente siamo all'inizio dell'IA pragmatica (ad es. Siri, Alexa)
• L'intelligenza artificiale sta entrando anche nel mondo del lavoro (ad es. motori di raccomandazione, chatbot, suggerimenti automatici per la collaborazione).
• L'intelligenza artificiale è tutto ciò che prende dati storici (dati di allenamento) e apprende dalle prestazioni passate di tali dati; in genere, si tratta di apprendimento automatico supervisionato.
• Deep Learning è l'idea di rete neurale. È un'area di aspettative esagerate.
  • Le reti neurali convoluzionali (CNN) vengono utilizzate per il riconoscimento di immagini e video.
  • Le reti neurali ricorrenti sono utili per i dati di serie temporali.
  • I GAN (Generative Adversarial Network) sono bravi a creare dati e immagini falsi da altri dati e immagini su cui ti alleni.
• Cosa fare con l'IA:
  • Prevedere il tasso di abbandono;
  • Identificare quali offerte inviare a un individuo;
  • Accelerare l'innovazione;
  • Personalizza i contenuti;
  • Marketing basato sull'account;
  • Attribuzione algoritmica;
  • Elevazione futura prevista;
  • Prevedi la colpa.
• Capire cosa fanno i modelli (non necessariamente gli algoritmi sottostanti) e sapere quando applicarli e come interpretare i risultati sono le competenze di cui avranno bisogno gli analisti.
• L'apprendimento automatico automatizzato ci aiuterà a risolvere il problema di avere troppi dati e non abbastanza tempo:
  • L'apprendimento automatico automatizzato prevede in pochi minuti con elevata precisione.
  • Storicamente è stato costoso. Non più. L'intelligenza artificiale senza codice ti consentirà di farlo oggi.

Ton Wesseling: “Convalida in ogni organizzazione”

• Perché i nostri lavori CRO moriranno: i team operano a ritmi diversi.
  • Team di conversione: cicli di esperimento di 6-8 settimane;
  • Team di marketing: preparare, fare campagna, preparare, fare campagna;
  • Team di prodotto: sprint di 2 settimane.
• I team di conversione/ottimizzazione potrebbero diventare un incubo per i team di marketing e di prodotto.
• I team di ottimizzazione sono molto (troppo) orgogliosi:
  • Dicono alle altre squadre cosa stanno sbagliando.
  • Può essere ipocrita ed eccessivamente critico.
  • I team di ottimizzazione dovrebbero avere più umiltà.
• Perché potrebbe essere effettivamente una buona idea uccidere i team di ottimizzazione:
  • Stiamo ottimizzando i secchi che perdono? Dovrebbero essere coinvolti i team di prodotto e di marketing.
  • Il termine "ottimizzazione del tasso di conversione" non descrive esattamente ciò che facciamo: aiutiamo i clienti a raggiungere i loro obiettivi di business.
  • Perché ci concentriamo sempre sul web? Anche l'ottimizzazione della posta elettronica, dei social, ecc. è ottimizzazione.
• L'ottimizzazione è il KPI che stai cercando di influenzare.
  • Questo a volte include clic, comportamenti, transazioni per utente, ecc.
  • Dovresti ottimizzare per il potenziale valore della vita; dovrebbero esserci KPI universali per cui tutti i team ottimizzano.
• L'ottimizzazione è tutta una questione di effetti: ottenere più risultati.
  • Come facciamo questo? Tutti i reparti dovrebbero collaborare per creare un "centro di eccellenza di convalida".
  • Consenti una crescita basata sull'evidenza nel cuore dell'azienda: democratizza la ricerca in modo che i team di prodotto non debbano preoccuparsi delle statistiche.
  • Priorità per l'implementazione = Qualità delle prove x Potenziale effetto sugli obiettivi condivisi.
• Non essere uno spacciatore; essere un abilitatore.

Tammy Duggan-Herd: "Le insidie ​​degli inconsapevoli: come l'errata applicazione della psicologia sta danneggiando i tuoi tassi di conversione"

• Capire il comportamento umano è complicato, agire su di esso ancora di più.
• Puoi danneggiare le conversioni, il marketing e il tuo marchio se segui i principi sbagliati.
• La radice del problema è come la ricerca arriva al pubblico:
  • Inizia con un ricercatore che è sotto pressione per produrre cose che ottengano trazione sui giornali media/accademici.
  • Le riviste scientifiche hanno un tasso di rifiuto del 70%, molto poco lo fa.
  • Quando qualcosa raggiunge la pubblicazione, i comunicati stampa si concentrano sulla promozione, non sulla precisione.
  • I media continuano ad aumentare le richieste; i blogger peggiorano il problema.
  • In definitiva, consumiamo su Twitter: 20 pagine ridotte a 160 caratteri.
• È un gioco di telefono: lo scenario migliore è che le informazioni distorte non abbiano alcun effetto; scenario peggiore è che genera l'effetto opposto.
• Insidie ​​del praticante inconsapevole:
  • Semplificazione esagerata. I media semplificano i risultati perché devono essere concisi, accattivanti; le qualificazioni e le sfumature vengono eliminate.
  • Sovrastimare la dimensione degli effetti. Il significato statistico non è uguale al significato pratico: l' entità dell'effetto.
  • Generalizzare eccessivamente. Spesso ignoriamo i limiti di studio, che sono necessari perché la maggior parte degli studi sono con studenti universitari in un laboratorio (non rappresentativo).
  • Isolare i risultati. I media trattano i singoli risultati come definitivi; nessuno studio può dire molto da solo; ulteriori variabili potrebbero negare/invertire l'effetto.
• Devi sapere come evitare le insidie:
  • Leggi lo studio originale. Cosa è stato effettivamente trovato? Qual era la dimensione dell'effetto? Come è stato condotto?
  • Non farti prendere dagli hack.
  • Provalo tu stesso. Sii consapevole di come potrebbe andare storto / ritorcersi contro.

Brian Cugelman: "Psicologia dei consumatori, dopamina e design di conversione"

• La mitologia della dopamina afferma che
  • La dopamina è il neurotrasmettitore del piacere o della felicità.
  • I premi variabili sono così potenti che gli utenti non possono resistervi.
  • Aziende come Facebook manipolano le persone con la dopamina.
• Se queste affermazioni fossero vere:
  • I social media sarebbero puro piacere.
  • Saremmo tutti dipendenti, agganciati da manipolatori malvagi.
  • La maggior parte dell'umanità mancherebbe di autocontrollo.
• In realtà, la dopamina fa sentire le persone energiche e curiose.
  • Fornisce una ricompensa emotiva che svanisce rapidamente, lasciando le persone insoddisfatte.
  • Le persone si abituano ai trigger, che smettono di innescare la dopamina.
  • Le ricompense della dopamina rinforzano i comportamenti.
  • Troppa poca dopamina è associata a disabilità motorie.
• Come attiviamo la dopamina del nostro pubblico? Fornisci una promessa o una sorpresa digitale :
  • Regalo di benvenuto virtuale;
  • Offerte per arricchirsi velocemente;
  • Scatole misteriose;
  • Aste;
  • Sorteggio fortunato;
  • Annunci: "Che aspetto hanno queste stelle bambino oggi";
  • Sondaggi/quiz BuzzFeed, ad es. Quale cane sei?
• Come lo usiamo nel marketing digitale?
  • Suggerimenti visivi di regali e ricompense;
  • premi misteriosi;
  • Ganci editoriali;
  • Proposte di valore;
  • Dichiarazioni di benefici;
  • Eventuali accenni di ricompense.
• Il cervello si abitua alle vecchie ricompense (es. cecità da striscione).
• Come si supera l'assuefazione?
  • Offri di più, meglio, più grande.
  • Usa la novità.
  • Includi sorprese.
  • Trattieni l'intera storia.
  • Ridurre la frequenza di sensibilizzazione.
  • Aggiungi regali casuali.
  • Riconfeziona i materiali di oggi.
  • Aggiungi innovazioni.
  • Usa ricompense variabili.
• Usa l'incertezza a tuo vantaggio:
  • Se stai regalando qualcosa con la spedizione, usa una ricompensa casuale con maggiore anticipazione.
• Usa la gestione delle aspettative, sii diretto, mantieni le tue promesse e avrai la dopamina che è ben meritata.

Lukas Vermeer: ​​"Democratizzare gli esperimenti online su Booking.com"

• Ogni volta che qualcuno ti mostra dei dati, la tua prima domanda dovrebbe essere "Dove e come sono stati acquisiti/raccolti questi dati?"
• Alcune persone fraintendono la convalida basata sui dati come una limitazione alla libertà creativa.
• In Booking c'è fiducia nella validità dei dati e le decisioni sono visibili a tutti. Ciò consente un processo decisionale continuo e individuale.
• “Il plurale di aneddoto non è dato”: abbiamo bisogno di prove per prendere decisioni.
• Evita di indovinare i giochi (ad es. "Quale dei due colori dei pulsanti è migliore?"):
  • Dovremmo invece fare un test di ipotesi, che include una descrizione molto più dettagliata del pensiero dietro l'esperimento.
  • Ciò non significa che non puoi testare i colori dei pulsanti, ma che hai una comprensione molto migliore del motivo per cui lo stai facendo e quali variazioni dovresti testare.
• Modello di ipotesi: teoria, convalida, obiettivo.
• Sfidare la propria comprensione del prodotto tramite la sperimentazione è fondamentale:
  • Capovolge il pensiero "tutti i test dovrebbero vincere" a testa in giù: "9/10 test falliscono" (VWO), ma l'apprendimento non è mai un fallimento.
• Trova i passaggi più piccoli per testare rapidamente le ipotesi più rischiose.

Ryan Thomas: "Ottimizzazione per le registrazioni via e-mail"

• L'acquisizione di email a volte può andare contro i tuoi obiettivi principali
  • Ex. L'ottimizzazione di un pop-up del concorso ha comportato un aumento di oltre il 300% nelle iscrizioni e-mail, ma il tasso di conversione dell'e-commerce e l'AOV sono diminuiti
  • La soluzione: sostituire il contest con un'offerta che incoraggi subito la vendita (combinazione di offerta di benvenuto e di uscita di un piccolo sconto)
  • Aumento simile nelle iscrizioni alle e-mail oltre a un aumento del tasso di conversione delle transazioni e delle entrate
• Perché concentrarsi sulle registrazioni via e-mail?
  • Guarda i dati: il traffico e-mail spesso funziona meglio; Esempio di intervallo di tempo e lunghezza del percorso: due terzi convertono lo stesso giorno ma meno della metà al primo punto di contatto
  • Costruisci una relazione con il tuo cliente
  • Strategia di test: KPI indipendente (improbabile entrare in conflitto con altri test); Basso traffico: potresti essere in grado di eseguire il test qui quando non hai abbastanza macro-conversioni; Test come apprendimento: prova la messaggistica e la motivazione
• Processo ResearchXL
  • Analisi euristica
  • Monitoraggio del mouse Mouse
  • Analisi Web
  • Test utente
  • Sondaggi qualitativi
  • Analisi tecnica
• Sondaggi sui clienti
  • Domande aperte e non guidatelea
  • Scopri le motivazioni, il processo decisionale, le esitazioni, le frustrazioni
• Le intuizioni possono provenire da qualsiasi luogo
• Correla i punti dati per dare priorità alla tua roadmap (PXL)
• Altri esempi:
  • L'ottimizzazione di un popup del concorso per un prodotto di acquisto frequente ha comportato un aumento delle iscrizioni e-mail senza influire sulle metriche di e-commerce
  • L'aggiunta di un'offerta di benvenuto dove non esisteva prima ha aumentato le iscrizioni e-mail del 95% e ha creato un piccolo aumento del tasso di conversione delle transazioni
• Asporto:
  • Allinea la tua strategia con ciò che è importante per l'azienda: nessuna metrica di vanità.
  • Prova diverse tattiche, strumenti, offerte e design.
  • Fai la tua ricerca!

Nina Bayatti: “Era davvero un vincitore? I dati della canalizzazione verso il basso che dovresti monitorare”

• Ci sono tantissime metriche che puoi monitorare:
  • Tasso di conversione;
  • Frequenza di rimbalzo;
  • Percentuale di clic;
  • visualizzazioni di pagina;
  • catture di piombo;
  • Tasso di conversione dell'acquisto.
• Ma non raccontano tutta la storia.
• Per raggiungere conclusioni sicure, è necessario analizzare i dati della canalizzazione discendente.
• In ClassPass, considerano i referral importanti per attirare nuovi clienti, quindi ha senso incentivare i referral.
  • Hanno testato offrendo 10 crediti gratuiti per allenarsi con un amico.
  • Gli inviti sono aumentati del 50%; Incremento del 35% nell'acquisizione dei referral.
  • Poi hanno notato che stavano cannibalizzando altri canali: le persone che si convertivano come referral erano lead già acquisiti da altri canali.
• Imposta i tuoi esperimenti per il successo:
  • Definire le metriche di successo.
  • Considerare tutti i passaggi dell'imbuto quando si determina la dimensione del campione (vale a dire renderlo abbastanza grande anche per l'analisi del fondo dell'imbuto).
  • Identificare e ripetere le leve dell'imbuto verso il basso.
  • Gli incentivi funzionano, ma potrebbero funzionare troppo bene e convertire le persone che non sono realmente interessate al servizio/prodotto o cannibalizzare altri canali.
  • Considera sempre l'impatto dei tuoi test vincenti sulla tua crescita e sui tuoi costi.

Eric Allen: “Anche i test perdenti possono essere vincitori. Come valutare e imparare da un esperimento perdente.”

• Il costo della sperimentazione: speri che il rialzo superi il costo.
• Perché fa male perdere? Le perdite sono più grandi nella nostra mente dei guadagni.
• Imparare sulla conoscenza: la conoscenza è finita; progettare ogni esperimento in modo da poter trarre insegnamenti, anche dalle perdite.
• Errori dei test di riprogettazione di Ancestry.com:
  • Primo test: imparato che siamo cambiati troppo, necessario per isolare le variabili.
  • Secondo test: i consumatori non capiscono la differenza tra i pacchetti e scelgono solo il prezzo più basso.
  • Terzo test: le pagine dell'offerta sono troppo complesse e i consumatori trascorrono troppo tempo sulla pagina.
  • Quarto test: troppe persone stanno prendendo un pacchetto a breve termine ora.
  • Quinto test: questo non funziona. Ripristina originale.
• Impara a riformulare la perdita: “ I test A/B sono il nostro costo per le tasse scolastiche. Costa soldi per imparare. "
• Impatto del test:
  • Tasso di esecuzione di base: $ 100 milioni all'anno;
  • Sollevamento di prova: 10%;
  • Durata della prova: 90 giorni (25%);
  • Impatto negativo: $ 2,5 milioni;
  • Entrate totali: 97,5 milioni di dollari.
• Impatto dell'implementazione senza test:
  • Tasso di esecuzione di base: $ 100 milioni all'anno;
  • Sollevamento di prova: 10%;
  • Durata della prova: 12 mesi;
  • Impatto negativo: $ 10 milioni;
  • Fatturato totale: 90 milioni di dollari.
• Risparmi totali con i test: $ 7,5 milioni.
• Imparare da una serie di test può trasformare le perdite in una vittoria.
• Asporto:
  • James Lind: C'è un costo, ma anche un vantaggio.
  • Jeff Bezos: Continua a fare esperimenti.
  • Jay-Z: Le perdite sono lezioni.

Stefanie Lambert: "Real Talk: lezioni difficili apprese durante la creazione di un programma di ottimizzazione"

• La sensibilità alla cultura organizzativa semplificherà la vita a tutti.
  • Se un'azienda fa le cose in modo diverso, potrebbe significare che devi adattarti.
• Il diavolo è nei dettagli.
  • Abbiamo dovuto rilanciare un test più volte a causa del movimento troppo veloce.
  • Per un semplice test, collegare Google Analytics con Google Optimize avrebbe richiesto un paio di secondi, ma poiché non l'abbiamo fatto, abbiamo perso due settimane.
• Se non è supportato da dati, probabilmente non funzionerà.
  • La tua coda di test dovrebbe essere principalmente test supportati da dati.
  • Una linea di abbigliamento voleva davvero mostrare la qualità dei loro vestiti e ingrandire le loro immagini. Ma l'idea non è venuta dai dati.
  • Quando abbiamo mostrato immagini più grandi, c'erano meno prodotti sulla pagina, il che ha abbassato il CTR.
• I dati quantitativi e qualitativi sono necessari per risultati eccezionali.
  • Dopo aver lanciato un test, siamo rimasti delusi da una diminuzione del 20% nelle iniziazioni dei moduli.
  • Il nuovo modulo aveva un aspetto migliore e aveva funzionato bene in altre parti del sito.
  • Abbiamo filtrato le registrazioni della sessione per i casi d'uso del controllo e della variazione.
  • Nella nuova variante, il modulo si è distinto abbastanza da far sì che i visitatori lo riconoscano come un modulo, quindi più utenti hanno lasciato, inizia il modulo decrescente.
• La curiosità non ha ucciso il gatto.
  • Distinguiti prestandoti abbastanza da porre domande difficili. (ad es. "Questo è davvero buono, ma potrebbe essere migliore?")
  • Quando ho iniziato, mi sentivo a disagio nel basare grandi decisioni aziendali sui dati di uno strumento.
  • Ho dovuto imparare le statistiche per fidarmi dei dati.

Lizzie Eardley: "A caccia di fantasmi statistici nella sperimentazione"

• Fantasma statistico: quando pensi che il tuo test abbia avuto un impatto sulla tua metrica, ma in realtà non c'è alcun impatto. Sei stato ingannato dai dati
• Ha eseguito 100.000 test A/A: il 60% dei test A/A ha misurato una differenza di almeno l'1%.
• "Non statisticamente significativo" non significa che non abbia avuto alcun impatto, solo che non hai prove sufficienti per rifiutare l'ipotesi nulla.
• Quattro cause di fantasmi statistici:
  • Confronti multipli;
  • sbirciare;
  • Metrica errata;
  • Quasi significativo.
• Confronti multipli:
  • È necessario tenerne conto regolando il valore p.
  • La possibilità di falsi positivi si applica a ogni confronto.
  • Ex. 1 confronto: 5% di possibilità di falsi positivi; 8 confronti, 34% di possibilità di falsi positivi!
  • Basa l'ipotesi su una metrica chiave, quindi scegli le metriche secondarie.
• sbirciando:
  • Esaminare i dati e intraprendere azioni prima della fine predeterminata dell'esperimento.
  • Questo può avere un enorme effetto sul tasso di falsi positivi.
  • Buoni motivi per sbirciare: verificare la presenza di bug, fermare i disastri, efficienza.
• Metrica errata:
  • Una buona metrica è significativa, interpretabile, sensibile, adatta per il test.
  • Significativo: cattura ciò che intendevi cambiare.
  • Interpretabile: facile dire come un cambiamento ha alterato il comportamento dell'utente.
  • Sensibile: è in grado di rilevare cambiamenti più piccoli più velocemente.
  • Adatto per il test: i test normali presuppongono l'indipendenza e l'errore è distribuito normalmente.
• Quasi significativo:
  • Il fantasma della tentazione. Le persone vogliono credere in ciò che sperano.
  • Non esiste un "quasi" significativo!

Emily Robinson: "6 linee guida per i test A/B"

• Fasi del processo di sperimentazione:
  • Processi. Non puoi fare tutto e le cose che non stai facendo sono comunque importanti.
  • Creare.
  • Analizzando.
  • Il processo decisionale. Come decidere cosa fare dopo?
• Meno dati, più forti sono le opinioni. Le nostre opinioni sono spesso sbagliate. Non lasciare che gli HiPPO (l'opinione della persona più pagata) uccidano le tue idee; sperimentare invece.
• Inizia con i dati storici: qual è la popolazione della tua idea di test? Qual è il tuo tasso di conversione attuale e l'aumento stimato?
• Esegui l'analisi della potenza! Importante per determinare il punto di arresto ed evitare un falso negativo. (L'ottanta percento significa che c'è una probabilità dell'80% di rilevare il cambiamento se è presente.)
• Se provi più modifiche contemporaneamente, sarà impossibile capire cosa non ha funzionato; lavorare invece su test incrementali più piccoli.
  • Etsy ha iniziato rilasciando tutte le modifiche dopo la conclusione dei test.
  • Passato a un processo più approfondito per l'implementazione di modifiche ai test A/B con cicli più piccoli.
• Prototipa le idee prima di rilasciarle.
• Coinvolgi uno scienziato che può assicurarsi che stai monitorando le metriche giuste. Possono anche aiutarti con i calcoli di potenza e iterare le idee.
• Il processo decisionale:
  • Qual è la complessità tecnica e il debito che stai aggiungendo?
  • È una caratteristica fondamentale?
  • Potrebbe esserci un impatto negativo troppo piccolo per essere rilevato?
• Fai attenzione a lanciare in modo neutrale, senza avere una strategia solida o dati sufficienti per supportare il processo decisionale.

Valerie Kroll: "Come presentare i risultati dei test per ispirare l'azione"

• Quando si presentano i dati, la domanda chiave è "Cosa vuoi che il tuo pubblico se ne vada?"
• Formula modello:
  • Perché abbiamo testato;
  • Cosa abbiamo testato;
  • risultati;
  • Apprendimenti;
  • Qual è il prossimo.
• Le tue diapositive non sono la tua presentazione. Tu sei la presentazione.
• Esponi il tuo caso aziendale:
  • Dove stai testando questo?
  • Chi è il pubblico?
  • Cosa misurerai?
• Esponi la tesi. (ad es. "Una richiesta di chat di proposta di valore aumenterà l'acquisizione di lead?")
• Definire come è stato misurato l'esperimento:
  • Dichiarazione di ipotesi;
  • KPI primario;
  • KPI secondari.
• Rendi le tue presentazioni interattive: esegui un sondaggio e chiedi alle persone cosa pensano che vincerebbe.
• Presentazione dei risultati:
  • Impatto sul KPI primario;
  • Una visualizzazione dei KPI primari; le persone capiranno meglio i tuoi risultati.
  • Segmentazione per mostrare cos'altro hai trovato.
  • Mantieni gli apprendimenti e le azioni fianco a fianco. (Questo dovrebbe richiedere il 40-50% del tempo di presentazione.)
• Se qualcosa non si aggiunge alla tua presentazione, la toglie (ad es. statistiche, informazioni tecniche, ecc.).
• Avere un modello prevedibile. La gente sa cosa aspettarsi. Rende il tuo lavoro più veloce.

Andre Morys: "Moriremo tutti: perché l''ottimizzazione' è l'accelerazione dell'evoluzione"

• Effetto Thatcher (1980, esperimento dal vivo): è difficile riconoscere i cambiamenti nella foto al contrario di un volto (Margaret Thatcher).
• Se non conosci il modello, potresti non riconoscerlo, lo stesso vale per CRO.
• Devi cambiare prospettiva per vedere la verità dietro le cose.
• Ex. Perché Commerzbank sta morendo?
  • Francamente, l'esperienza fa schifo.
  • Ma perché? Hanno designer, CRO, analisti
  • HiPPO ignoranti: la direzione non sente il dolore.
• "La verità, più precisamente, una comprensione accurata della realtà, è il fondamento essenziale per produrre buoni risultati".
• Non parlare di modelli di business dirompenti; quelli che disturbano non ne parlano. Sono troppo occupati a disturbare.
• La crescita digitale non viene dalla tecnologia; si basa su un'ottima esperienza del cliente.
• Se non hai intenzione di testare l'esperienza del cliente, non vedrai risultati.
• L'ottimizzazione è per sua natura agile: CRO fornisce nuovi dati per il team per dimostrare che qualunque cosa l'organizzazione abbia fatto era buona o cattiva.
• I buoni ottimizzatori generano idee incentrate sul cliente.
• Il vantaggio di Amazon è che generano continuamente nuove intuizioni.
  • È un'onda, l'agile Tsunami. (Non puoi vederlo.)
• Processo di ottimizzazione dell'infinito: analisi, priorità, convalida.
• Cambia la mentalità del management.
  • La direzione non si preoccupa di ciò che è cambiato sul sito web.
  • Presentare al management il ROI del programma di sperimentazione.
  • Suggerimento: diventa amico del CFO.
  • Tavole rotonde di C-Suite: consentono al management di discutere i propri problemi e quindi di essere ambiziosi (ovvero vendere il programma).
  • La direzione vuole grandi cose! Tuttavia, dimenticano che cambiamenti più piccoli portano a risultati più grandi (effetto composto).

John Ekman: "Cosa c'è di rotto nella trasformazione digitale (e come risolverlo)

• La "trasformazione digitale" non è un buon obiettivo:
  • Gli obiettivi sono "portare rapidamente il prodotto sul mercato" o "un buon servizio clienti".
  • Ci siamo posti (a torto) l'obiettivo della “trasformazione digitale” quando gli obiettivi non dovrebbero cambiare, ma solo gli strumenti per raggiungerli.
• Le cinque vie della trasformazione digitale:
  • Digitalizzare il prodotto;
  • Avvolgere un livello di servizio digitale attorno al prodotto;
  • Digitalizzare i processi “dietro le quinte”;
  • Digitalizzare gli sforzi di marketing, vendite e fidelizzazione;
  • Innovare nuovi prodotti digitali.
• Dobbiamo selezionare e dare priorità tra i cinque modi di trasformazione digitale; anche i leader digitali possono eccellere in uno o due modi, ma non in altri.
• La leadership pensa di spendere tonnellate di denaro; i praticanti sentono di non avere risorse.
  • La realtà è che è la crescita del bastone da hockey: devi spendere un sacco di soldi prima di vedere i risultati (e poi i risultati sono esponenziali).
  • Assegna il budget alle nuove iniziative prima di stanziare le iniziative in corso .
• Obiettivi e valutazione disallineati:
  • I piccoli progetti non sono organizzati all'interno del quadro generale.
  • Con la trasformazione digitale, non conosciamo l'entità del ritorno o l'investimento necessario; guardare solo al ROI non ti proietta nel futuro.
  • Soluzioni: OKR (Google), contabilità dell'innovazione (Eric Ries), finanziamento misurato (VC).
• Tre superpoteri digitali:
  • Capacità di (1) ascoltare i clienti;
  • Quando ascolti, puoi (2) agire; altrimenti, agisci sulle informazioni sbagliate.
  • Se hai entrambi, puoi (3) ridimensionare; altrimenti, scalerai la cosa sbagliata.

Will Critchlow: "E se i tuoi test CRO vincenti rovinassero il tuo traffico di ricerca? O le tue modifiche SEO stanno distruggendo il tuo tasso di conversione?"

• La preoccupazione generale è che la SEO rovini il CRO, non viceversa.
  • CRO si occupa della parte inferiore del funnel (più persone che si convertono in vendite).
  • La SEO si occupa della parte superiore della canalizzazione (aggiungendo più persone alla canalizzazione).
• Molte pagine CRO non sono nemmeno indicizzate, ma molte lo sono e i test CRO possono danneggiare il traffico organico. (L'abbiamo visto accadere.)
• Esperimento: ai SEO e ai marketer non digitali è stato chiesto di valutare quale delle due pagine potrebbe essere classificata più in alto:
  • Nessuno è riuscito a raggiungere il 50% di precisione nella previsione.
  • I SEO erano solo marginalmente migliori dei non SEO.
• Quindi, come possiamo fare previsioni migliori? Test SEO (DistilledODN).
• Le modifiche che funzionano per una nicchia potrebbero non funzionare per un'altra: dobbiamo testarle.
  • Le "best practice" SEO sono specifiche per sito/settore.
• UX è un fattore di ranking (forse):
  • Google addestra i modelli di apprendimento automatico in modo che apprezzino le stesse cose che piacciono alle persone.
  • Ma Google non è perfetto: ogni modifica dell'algoritmo non raggiunge questo obiettivo, ma è quello che stanno cercando di fare .
  • Pertanto, dovremmo costruire ipotesi SEO dai fondamenti della UX.
• In definitiva, dobbiamo, e trarremo vantaggio, testare l'impatto di SEO e CRO allo stesso tempo. Siamo nella stessa squadra.

Brennan Dunn: "Come offrire esperienze completamente personalizzate su larga scala"

• Molte persone "pensano" di personalizzare, ma ci sono molte personalizzazioni inutili là fuori.
• Cose su cui effettivamente voglio essere personalizzato: il mio intento, le mie azioni, il mio livello di conoscenza.
• Due lavori principali per la segmentazione:
  • Rendere il tuo messaggio più pertinente, più specifico;
  • Utilizzo della segmentazione per migliorare i rapporti.
• Nella segmentazione, le due cose che mi interessano sono il "chi" e il "cosa": "Sono un [vuoto] e ho bisogno del tuo aiuto con [vuoto]".
• Come segmentare automaticamente le persone:
  • Intento/Comportamento
    1. Quali sono gli ultimi 10-20 articoli che qualcuno ha letto sul nostro sito?
    2. Pagine di destinazione originali.
    3. Annuncio su cui hanno fatto clic (soprattutto vero per gli annunci di Facebook).
    4. Referenti.
  • Azioni
    1. Acquisti.
    2. Magneti al piombo.
    3. Webinar.
  • Sondaggi
    1. Link trigger: "Su cosa sei maggiormente concentrato in questo momento?"
    2. Sondaggi. "Cosa stai cercando di fare oggi sul nostro sito?"
    3. Sondaggi ospitati.
  • Clearbit
• E se non sai come segmentare?
  • Quando qualcuno si iscrive a un corso e-mail o scarica un lead magnet, chiediglielo a bruciapelo. (ad es. "Cosa devi ottenere da questo corso e-mail?")
• Con la personalizzazione, possiamo utilizzare la messaggistica di nicchia senza essere effettivamente un'attività di nicchia.
• Meno pensieri, più coinvolgimento = più conversioni.
• Alla fine della giornata, la personalizzazione è rilevante.

Chad Sanderson: "Allineare la sperimentazione attraverso lo sviluppo del prodotto e il marketing"

• A volte i dipartimenti di marketing e ingegneria vogliono fare esperimenti paralleli e incorrere in conflitti.
• Le persone più vicine al prodotto hanno più forza nel business.
• Diversi tipi di aziende: Tech First (Bing, LinkedIn), Second (Booking.com, Grubhub), Third (Sephora, Target).
• A seconda del tipo di attività, ci sono differenze:
  • Ottimizzazione. La funzionalità non esisterebbe senza lo strumento di sperimentazione; la progettazione dell'esperimento può avvenire al di fuori del ciclo di sprint.
  • Convalida. La funzione esisterebbe indipendentemente dalla sperimentazione; la progettazione dell'esperimento fa parte del ciclo di sviluppo.
• La grande riprogettazione di Snapchat è stata infranta nell'83% delle recensioni degli utenti, un esempio di catastrofe che un processo basato sulla convalida avrebbe potuto evitare.
• La velocità della pagina uccide. L'ottimizzazione uccide i tassi di conversione del 5% o più? Le tecnologie di sperimentazione lato client non riescono ad aumentare la latenza di meno di 1000 ms. Ogni 100 ms di latenza provoca una diminuzione dello 0,5% dell'RPV.
• Passi per il successo:
  • Comprendi la tua struttura attuale: ottimizzazione o convalida.
  • Scopri dove manca la tua copertura. Il ROI è monitorato? Il prodotto viene spedito con esperimenti?
  • Colma il divario tra persone e reparti: ottieni obiettivi comuni per le metriche del programma.
  • Stabilire un forum per condividere i risultati e lavorare su progetti comuni (risultati a livello di programma globale, non test individuali).
  • Riunioni mensili per rivedere le metriche in modo coerente e risolvere le forze opposte.

Natasha Wahid: "Come far eccitare l'intera organizzazione sulla sperimentazione"

• La cultura è un fattore di sperimentazione di successo. Prendi questo scenario:
  • Un campione di ottimizzazione composto da una sola donna inizia a raccogliere idee da tutti per la sperimentazione.
  • Ottiene un sacco di idee, ma poiché è uno spettacolo per una sola donna, nevica sotto.
  • Dopo un po' diventa uno scherzo, un luogo dove le idee vanno a morire.
• Come possiamo migliorare?
  • Ispira: la scintilla. Fai in modo che le persone siano motivate ad agire.
  • Educare-formare. Formale o informale.
  • Informare: comunicare conoscenza, azione.
• Il core team possiede il programma. Sono concentrati sull'ottenere il buy-in dei dirigenti e sulla creazione di slancio.
• Ex. Inviato
  • Michelle ha evidenziato ciò che mancava all'azienda non ottimizzando le sue canalizzazioni principali.
  • Ha reclutato un ingegnere capo e un designer. Hanno anche portato un partner abilitante da un'agenzia esterna.
  • Tutti potevano vedere l'impatto dell'esperimento. L'ingegnere ha codificato subito la variante vincente.
• Ex. Piazza
  • Uno dei team di prodotto con la più alta visibilità ha subito una riprogettazione che ha fallito.
  • Workshop ospitati incentrati sul cambiamento della mentalità delle persone riguardo alla sperimentazione.
  • Incentrato sulla promozione della collaborazione, chiedendo ai team se ci fossero approfondimenti da altri esperimenti che potrebbero essere rilevanti per il team attuale.
• Modello RACI:
  • R – responsabile – svolgere il lavoro effettivo;
  • A – responsabile – titolare del progetto;
  • C – consulente – fornire informazioni sulla gestione del processo;
  • I – informazioni – persone che hanno solo bisogno di essere informate.
• Esempio di comunicazione RACI:
  • Titolare: Campione della sperimentazione;
  • Messaggio: l'esperimento X è stato avviato;
  • Canale: notifica allentata;
  • Pubblico: team di ingegneri;
  • Tempistica: automaticamente all'avvio dell'esperimento nello strumento.

Conclusione

Questo post è 21 sessioni di mezz'ora condensate in meno di 5.000 parole. Se vuoi un'esperienza completa, dentro e fuori le sessioni della conferenza, devi semplicemente esserci.

Le buone notizie? Non devi aspettare un anno intero. Join us at Digital Elite Camp in Estonia on June 13–15.