Recapitulare CXL Live 2019: de luat de la fiecare difuzor

Ce grabă - 24 de difuzoare în trei zile într-o stațiune pitorească. Adăugați la cele 400 de fețe vechi și noi, o mulțime de conversații, muzică live și mai mult de câteva beri. CXL Live este o experiență.

A existat și acest lucru: videoclipul nostru de deschidere care a oferit toate secretele creșterii ... creșterii:

Dacă vă întrebați ce ați ratat, iată cele mai importante momente din fiecare dintre sesiunile de la CXL Live din acest an.

Els Aerts: „Arta pierdută de a pune întrebări”

• Sondajele nu suge, dar majoritatea sondajelor suge. Pot funcționa dacă:
  • Aveți întrebări de cercetare corecte.
  • Nu vă mai concentrați asupra prezentării „numerelor” și prezentarea informațiilor.
• Cum să puneți întrebările corecte:
  • Nu întrebați despre viitor (de ex. „Dacă am adăuga Feature X, cât de probabil ați fi să cumpărați Y?); utilizatorii tăi nu sunt psihici.
  • Nu întrebați despre lucruri care sunt prea departe în trecut - memoria umană este extrem de nesigură.
  • Nu puneți întrebări de bază. (de exemplu, nu întrebați cât de „bun” a fost ceva; întrebați cât de „bun sau rău” sau pur și simplu „cum” a fost.)
• Întrebările de părtinire către negativ pot oferi mai mult feedback (de ex. „Cât de greu a fost să ...”).
• Unde și când furnizați un sondaj poate avea impact asupra rezultatelor - dacă este o secțiune a site-ului în care utilizatorul se confruntă cu dureri, acesta va influența răspunsurile.
• Confirmarea și paginile de mulțumire sunt oportunități excelente de a pune întrebări oamenilor. (de exemplu, ați considerat un concurent? Dacă da, ce caracteristici avem care v-au determinat să ne alegeți în locul lor?)
• Când configurați interviuri, numiți-le „chat-uri”, nu interviuri - și tratați-le ca pe chat-uri; anticipează unde poate merge conversația și ascultă, ascultă, ascultă.

Joanna Wiebe: „Scrierea oglinzilor: Cum se folosește vocea clientului pentru a scrie o copie de mare conversie”

• 90% din redactare ascultă.
• Scopul este de a scrie o copie în care oamenii se văd - sinele lor actual și sinele imediat imediat.
• Validare pentru copiere: ar putea fi o descoperire sau un bust? Împinge lucrurile suficient pentru a fi o descoperire totală? Sau absolut îngrozitor?
• Treceți dincolo de sursele standard de voce ale datelor clienților ; opțiuni mai bune sunt:
  • Fondatorii intervievării („clienții” originali);
  • Sondaje de pagină de mulțumire;
  • Usertesting.com;
  • Apeluri de vânzări miniere;
  • Bilete de sprijin pentru mine;
  • Comentariile mele pe Facebook;
  • Recenziile mele online.
• Interviurile fondatorilor pot găsi povestea, propunerea de valoare și marea idee.
  • Puneți interviul pe video și înregistrați-l (cu permisiunea).
  • Transcrieți interviul (rev.com).
  • Imprimați și citiți transcrierea cu un marcator: Ce iese în evidență? Ce este diferit?
• Apelurile de vânzare și înregistrările demo pot trasa secvențe de comunicare, ierarhii și pot ajuta la copierea lipicioasă.
  • Obțineți informații despre modul în care gândește prospectul dvs.
  • Urmăriți expresiile lor în timp ce văd demonstrația.
  • Treceți la părțile în care vorbește prospectul.
  • Urmăriți momentele „în stil documentar”. (De ex., dacă dați cuiva transcrierea, o poate interpreta? Este un moment bun.)
  • Urmăriți expresii precum „Sunt îngrijorat de ...” și „Îmi puteți arăta ...”
  • Etichetați ceea ce găsiți, astfel încât să îl puteți folosi în copie (#objecție # etapă târzie etc.).

Carrie Bolton: „Realizați-vă cu clienții și cu directorii dvs. - Cum să îmbunătățiți cu adevărat experiența clientului

• Experiența clientului este percepția clientului asupra interacțiunii lor cu afacerea dvs.
• Vanguard a decis că concentrarea asupra experienței clienților îi va ajuta să se diferențieze de concurenții lor:
  • Configurați experimentarea în jurul personalizării și personalizării experienței clientului.
  • Ex. Clienții se conectează online pentru a evita apelurile - pagina reconstruită pentru a face o reducere mai favorabilă experimentelor și mai precisă a tarifelor apelurilor clienților.
• Cum să faceți cazul extern:
  • Obțineți informații competitive de la industria dvs. sau de la cele mai bune companii din clasă (de exemplu, USAA, CIGNA);
  • Cercetare Forrester;
  • Bloguri despre experiența clienților.
• Cum să faceți cazul intern:
  • Cercetări cantitative sau calitative de la clienții dvs. (de exemplu, analize digitale, cercetări de piață).
  • „Vorbește cu oamenii care vorbesc cu oamenii.”
  • Discutați cu oamenii din domeniul finanțelor: ce indicatori de performanță atrag atenția?
• Spune Nu vinde.
• Când „vindeți”, oamenii văd chiar prin asta.
• Sondajul și feedback-ul clienților pot dezvălui feedback sincer și necesar pentru a afla ce să le „spunem”.

Judah Phillips: „Cum am învățat să nu-mi mai fac griji cu privire la învățarea automată și să iubesc AI”

• Inteligența artificială oferă analiștilor capacitatea de a privi cu nerăbdare atunci când iau decizii - în loc să fie în oglinda retrovizoare.
• În prezent suntem la debutul AI pragmatic (de exemplu, Siri, Alexa)
• AI intră, de asemenea, la locul de muncă (de exemplu, motoare de recomandare, chatbots, sugestii automate de colaborare).
• AI este orice lucru care ia date istorice (date de antrenament) și învață din performanța anterioară a acestor date; de obicei, aceasta este învățarea automată supravegheată.
• Învățarea profundă este ideea rețelei neuronale. Este un domeniu de așteptări supraumflate.
  • Rețelele neuronale convoluționale (CNN) sunt utilizate pentru recunoașterea imaginilor și a videoclipurilor.
  • Rețelele neuronale recurente sunt bune pentru datele din seria temporală.
  • Rețelele contradictorii generative (GAN) sunt bune la crearea de date și imagini false din alte date și imagini pe care le instruiți.
• Ce să faci cu AI:
  • Prevedeți churn;
  • Identificați ofertele de trimis unei persoane;
  • Accelerați inovația;
  • Personalizați conținutul;
  • Marketing bazat pe cont;
  • Atribuire algoritmică;
  • Prognoză creșterea viitoare;
  • Prezice vina.
• Înțelegerea a ceea ce fac modelele (nu neapărat algoritmii care stau la baza lor) și știerea când să le aplicăm și cum să interpretăm rezultatele sunt abilitățile pe care analistii le vor avea nevoie.
• Învățarea automată automată ne va ajuta să rezolvăm problema de a avea prea multe date și nu suficient timp:
  • Învățarea automată automată prezice în câteva minute cu o precizie ridicată.
  • Din punct de vedere istoric, asta a fost scump. Nu mai. AI fără cod vă va permite să faceți asta astăzi.

Ton Wesseling: „Validarea în fiecare organizație”

• De ce locurile noastre de muncă CRO vor muri: Echipele operează la ritm diferit.
  • Echipe de conversie: cicluri experimentale de 6-8 săptămâni;
  • Echipe de marketing: Pregătiți, faceți campanie, pregătiți, faceți campanie;
  • Echipe de produse: sprinturi de 2 săptămâni.
• Echipele de conversie / optimizare ar putea deveni un coșmar pentru echipele de marketing și produse.
• Echipele de optimizare au multă (prea multă) mândrie:
  • Ei spun celorlalte echipe ce fac greșit.
  • Poate fi auto-drept și excesiv de critic.
  • Echipele de optimizare ar trebui să aibă mai multă smerenie.
• De ce ar putea fi de fapt o idee bună să ucizi echipele de optimizare:
  • Optimizăm găleatele cu scurgeri? Echipele de produse și marketing ar trebui să fie implicate.
  • Termenul „optimizare a ratei de conversie” nu descrie cu adevărat ceea ce facem - îi ajutăm pe clienți să își atingă obiectivele de afaceri.
  • De ce ne concentrăm întotdeauna pe web? Optimizarea e-mailurilor, a rețelelor sociale etc. este, de asemenea, optimizare.
• Optimizarea este KPI-ul pe care încercați să-l influențați.
  • Aceasta include uneori clicuri, comportamente, tranzacții per utilizator etc.
  • Ar trebui să optimizați pentru valoarea potențială a vieții; ar trebui să existe KPI-uri universale pentru care toate echipele să optimizeze.
• Optimizarea se referă la efecte - obținerea mai multor rezultate.
  • Cum facem asta? Toate departamentele ar trebui să colaboreze pentru a crea un „centru de excelență de validare”.
  • Permiteți creșterea bazată pe dovezi în centrul companiei - democratizați cercetarea, astfel încât echipele de produse să nu se îngrijoreze de statistici.
  • Prioritizare pentru implementare = Calitatea dovezilor x Efect potențial asupra obiectivelor comune.
• Nu fi un împingător; fii un facilitator.

Tammy Duggan-Herd: „Capcanele ignoranților: cum aplicarea greșită a psihologiei vă dăunează ratelor de conversie”

• Înțelegerea comportamentului uman este complicată, acționând asupra lui și mai mult.
• Puteți deteriora conversiile, marketingul și marca dvs. dacă urmați principii greșite.
• Rădăcina problemei este modul în care cercetarea ajunge la public:
  • Începe cu un cercetător care se află sub presiune pentru a produce lucruri care primesc atenție în jurnalele media / academice.
  • Revistele științifice au o rată de respingere de 70% - foarte puțin se remarcă.
  • Când ceva ajunge la publicare, comunicatele de presă se concentrează pe promovare, nu pe acuratețe.
  • Mass-media continuă să extindă revendicările; bloggerii înrăutățesc problema.
  • În cele din urmă, consumăm pe Twitter - 20 de pagini reduse la 160 de caractere.
• Este un joc de telefon - cel mai bun scenariu este că informațiile distorsionate nu au efect; cel mai rău scenariu este că generează efectul opus.
• Capcanele practicantului necunoscut:
  • Supersimplificare. Mass-media simplifică rezultatele, deoarece trebuie să fie concise, atrăgătoare; calificările și nuanța sunt abandonate.
  • Supraevaluarea dimensiunii efectelor. Semnificația statistică nu este egală cu semnificația practică - amploarea efectului.
  • Suprageneralizant. De multe ori nu luăm în considerare limitările studiilor, care sunt necesare, deoarece majoritatea studiilor se desfășoară cu studenți în laborator (nu sunt reprezentative).
  • Rezultate izolatoare. Media tratează descoperirile unice ca fiind definitive; niciun studiu nu poate spune multe singuri; variabile suplimentare ar putea nega / inversa efectul.
• Trebuie să știi cum să eviți capcanele:
  • Citiți studiul original. Ce s-a găsit de fapt? Care a fost dimensiunea efectului? Cum a fost condus?
  • Nu te lăsa prins de hacks.
  • Testează-l pentru tine. Fiți conștienți de modul în care ar putea merge prost / înapoi.

Brian Cugelman: „Psihologia consumatorului, dopamina și proiectarea conversiei”

• Mitologia dopaminei susține că
  • Dopamina este neurotransmițătorul plăcerii sau fericirii.
  • Recompensele variabile sunt atât de puternice încât utilizatorii nu le pot rezista.
  • Companii precum Facebook manipulează oamenii cu dopamină.
• Dacă aceste afirmații ar fi adevărate:
  • Rețelele sociale ar fi pură plăcere.
  • Am fi cu toții dependenți, legați de manipulatori malefici.
  • Cea mai mare parte a umanității nu ar avea niciun control de sine.
• În realitate, dopamina îi face pe oameni să se simtă energici și curioși.
  • Oferă o recompensă emoțională care se estompează rapid, lăsând oamenii nemulțumiți.
  • Oamenii obișnuiesc să declanșeze, care încetează să declanșeze dopamina.
  • Recompensele dopaminice întăresc comportamentele.
  • Prea puțină dopamină este asociată cu insuficiența motorie.
• Cum declanșăm dopamina publicului nostru? Oferiți o promisiune sau o surpriză digitală :
  • Cadou de bun venit virtual;
  • Oferte de îmbogățire rapidă;
  • Cutii misterioase;
  • Licitații;
  • Remiza norocoasa;
  • Anunțuri: „Cum arată astăzi aceste vedete copil”;
  • Sondaje / teste BuzzFeed, de ex. Care câine ești?
• Cum folosim acest lucru în marketingul digital?
  • Sugestii vizuale de cadouri și recompense;
  • Premii misterioase;
  • Cârlige editoriale;
  • Propuneri de valoare;
  • Declarații de beneficii;
  • Orice indiciu de recompense.
• Creierul se obișnuiește cu recompense vechi (de exemplu, orbire banner).
• Cum depășești obișnuința?
  • Oferiți mai mult, mai bine, mai mare.
  • Folosiți noutate.
  • Includeți surprize.
  • Reține povestea completă.
  • Reduceți frecvența de sensibilizare.
  • Adăugați cadouri aleatorii.
  • Reambalează materialele de astăzi.
  • Adăugați inovații.
  • Folosiți recompense variabile.
• Folosiți incertitudinea în avantajul dvs.:
  • Dacă oferiți ceva cu transportul, folosiți o recompensă aleatorie cu o anticipare sporită.
• Utilizați gestionarea așteptărilor, fiți direct, respectați promisiunile și veți avea dopamină care este bine meritată.

Lukas Vermeer: ​​„Democratizarea experimentelor online pe Booking.com”

• Ori de câte ori cineva vă arată date, prima dvs. întrebare ar trebui să fie „Unde și cum au fost achiziționate / colectate aceste date?”
• Unii oameni înțeleg greșit validarea bazată pe date ca o limitare a libertății creative.
• La Booking, există încredere în validitatea datelor, iar deciziile sunt vizibile pentru toată lumea. Acest lucru permite un proces continuu, individual de luare a deciziilor.
• „Pluralul anecdotei nu reprezintă date” - avem nevoie de dovezi pentru a lua decizii.
• Evitați jocurile de ghicit (de ex. „Care dintre cele două culori ale butoanelor este mai bună?”):
  • Ar trebui să facem testarea ipotezelor, care include o descriere mult mai detaliată a gândirii din spatele experimentului.
  • Nu înseamnă că nu puteți testa culorile butoanelor, ci că aveți o înțelegere mult mai bună a motivelor pentru care o faceți și ce variante ar trebui să testați.
• Șablon de ipoteză: Teorie, validare, obiectiv.
• Provocarea propriei înțelegeri a produsului prin experimentare este esențială:
  • Întoarce „toate testele ar trebui să câștige” gândind cu capul în jos - „Testele 9/10 eșuează” (VWO), dar învățarea nu este niciodată un eșec.
• Găsiți cei mai mici pași pentru a testa rapid cele mai riscante ipoteze.

Ryan Thomas: „Optimizarea înscrierilor prin e-mail”

• Captarea e-mailului poate funcționa uneori împotriva obiectivelor dvs. principale
  • Ex. Optimizarea unei ferestre pop-up de concurs a dus la creșterea cu peste 300% a înscrierilor prin e-mail, dar rata de conversie a comerțului electronic și AOV au scăzut
  • Remedierea: înlocuiți concursul cu o ofertă care încurajează vânzarea acum (combinație de ofertă de bun venit și ieșire cu o mică reducere)
  • Înălțare similară la înscrierile prin e-mailuri, plus o creștere a ratei de conversie a tranzacțiilor și a veniturilor
• De ce să ne concentrăm pe înscrierile prin e-mail?
  • Uită-te la date: traficul de e-mail este cel mai performant; Exemplu de întârziere și lungime cale - două treimi convertesc aceeași zi, dar mai puțin de jumătate la primul punct de atingere
  • Construiește o relație cu clientul tău
  • Strategia de testare: KPI independent (puțin probabil să intre în conflict cu alte teste); Trafic redus: poate fi testat aici atunci când nu aveți suficiente macroconversiuni; Testarea ca învățare: încercați mesageria și motivația
• Procesul ResearchXL
  • Analiza euristică
  • Urmărirea mouse-ului
  • Analize web
  • Testarea utilizatorului
  • Sondaje calitative
  • Analiza tehnica
• Sondaje ale clienților
  • Întrebări deschise, fără conducere
  • Aflați despre motivații, procesul decizional, ezitări, frustrări
• Perspectivele pot veni de oriunde
• Corelați punctele de date pentru a da prioritate foii de parcurs (PXL)
• Mai multe exemple:
  • Optimizarea unei ferestre pop-up de concurs pentru un produs de cumpărare frecvent a dus la creșterea numărului de înscrieri prin e-mail, fără a afecta valorile de comerț electronic
  • Adăugarea unei oferte de bun venit în cazul în care niciuna nu exista înainte de creșterea numărului de înscrieri prin e-mail cu 95% și creșterea mică a ratei conversiei tranzacțiilor
• Concluzii:
  • Aliniați-vă strategia cu ceea ce este important pentru afacere - fără valori de vanitate.
  • Încercați diferite tactici, instrumente, oferte și modele.
  • Faceți-vă cercetările!

Nina Bayatti: „A fost într-adevăr un câștigător? Datele cu pâlnie descendentă pe care ar trebui să le urmăriți ”

• Există o mulțime de valori pe care le puteți monitoriza:
  • Rata de conversie;
  • Rata de respingere;
  • Rata de clic;
  • Afișări de pagină;
  • Capturi de plumb;
  • Rata de conversie a achiziției.
• Dar nu spun întreaga poveste.
• Pentru a ajunge la concluzii încrezătoare, trebuie să analizați datele din canalul descendent.
• La ClassPass, ei consideră că recomandările sunt importante pentru atragerea de noi clienți, deci este logic să stimulăm recomandările.
  • Au testat oferind 10 credite gratuite pentru a lucra cu un prieten.
  • Invitațiile au crescut cu 50%; Creșterea cu 35% a achiziției de recomandări.
  • Apoi au observat că au canibalizat alte canale - oamenii care făceau conversii ca referiri erau clienți potențiali deja dobândiți de la alte canale.
• Configurarea experimentelor pentru succes:
  • Definiți valorile succesului.
  • Luați în considerare toți pașii pâlniei atunci când determinați dimensiunea eșantionului (adică faceți-o suficient de mare pentru analiza de jos a pâlniei, de asemenea).
  • Identificați și iterați pârghiile de pâlnie în jos.
  • Stimulentele funcționează, dar s-ar putea să funcționeze prea bine și să transforme oamenii care nu sunt cu adevărat în serviciul / produsul sau canibalizează alte canale.
  • Luați întotdeauna în considerare impactul testelor câștigătoare asupra creșterii și a costurilor.

Eric Allen: „Pierderea testelor poate fi și câștigătoare. Cum să prețuiești și să înveți dintr-un experiment care pierde. ”

• Costul experimentării - sperați că avantajul va depăși costul.
• De ce doare să pierzi? Pierderile sunt mai mari în mintea noastră decât câștigurile.
• Învățarea asupra cunoștințelor: cunoașterea este finită; proiectați fiecare experiment într-un mod în care puteți obține învățături, chiar și din pierderi.
• Ancestry.com reproiectează eșecurile testului:
  • Primul test: Am aflat că ne-am schimbat prea mult, pentru a izola variabilele.
  • Al doilea test: consumatorii nu înțeleg diferența dintre pachete și doar aleg cel mai mic preț.
  • Al treilea test: paginile ofertei sunt prea complexe, iar consumatorii petrec prea mult timp pe pagină.
  • Al patrulea test: Prea mulți oameni iau acum un pachet pe termen scurt.
  • Al cincilea test: pur și simplu nu funcționează. Reveniți la original.
• Învață să reformulezi pierderea: „ Testele A / B sunt costul nostru de școlarizare. Costă bani să înveți. ”
• Impactul testării:
  • Rata de rulare de bază: 100 milioane dolari pe an;
  • Ridicarea testului: 10%;
  • Durata testului: 90 de zile (25%);
  • Impact negativ: 2,5 milioane USD;
  • Venituri totale: 97,5 milioane dolari.
• Impactul implementării fără testare:
  • Rata de referință de bază: 100 milioane USD pe an;
  • Ridicarea testului: 10%;
  • Durata testului: 12 luni;
  • Impact negativ: 10 milioane de dolari;
  • Venituri totale: 90 de milioane de dolari.
• Economii totale cu testarea: 7,5 milioane de dolari.
• Învățarea dintr-o serie de teste poate transforma pierderile într-o victorie.
• Concluzii:
  • James Lind: Există un cost, dar și un avantaj.
  • Jeff Bezos: Continuă să derulezi experimente.
  • Jay-Z: Pierderile sunt lecții.

Stefanie Lambert: „Discuție reală: lecții dificile învățate la construirea unui program de optimizare”

• Sensibilitatea față de cultura organizațională va face viața tuturor mai ușoară.
  • Dacă o companie face lucrurile într-un mod diferit, ar putea însemna că trebuie să vă încadrați.
• Diavolul sta in detalii.
  • A trebuit să relansăm un test de mai multe ori din cauza mișcării prea rapide.
  • Pentru un test simplu, conectarea Google Analytics cu Google Optimize ar fi durat câteva secunde, dar pentru că nu am făcut-o, am pierdut două săptămâni.
• Dacă nu este susținut de date, probabil că nu va funcționa.
  • Coada de testare ar trebui să fie în principal teste susținute de date.
  • O linie de îmbrăcăminte dorea cu adevărat să arate calitatea îmbrăcămintei lor și să-și mărească imaginile. Dar ideea nu a venit din date.
  • Când am afișat imagini mai mari, pe pagină erau mai puține produse, ceea ce a scăzut CTR.
• Datele cantitative și calitative sunt necesare pentru rezultate excepționale.
  • După lansarea unui test, am fost dezamăgiți de o scădere cu 20% a inițierilor de formă.
  • Noua formă arăta mai bine și se descurcase bine în altă parte a site-ului.
  • Am filtrat înregistrările de sesiune pentru cazurile de utilizare ale controlului și variației.
  • În noua variantă, formularul s-a remarcat suficient pentru a-i face pe vizitatori să-l recunoască ca o formă, astfel încât mai mulți utilizatori au plecat, începând să scadă forma.
• Curiozitatea nu a ucis pisica.
  • Distingeți-vă suficient de grijuliu pentru a pune întrebări dificile. (de ex. „Acest lucru este foarte bun, dar poate fi mai bine?”)
  • Când am început, m-am simțit inconfortabil bazându-mă pe deciziile de afaceri mari pe datele dintr-un instrument.
  • A trebuit să învăț statistici pentru a avea încredere în date.

Lizzie Eardley: „Urmărirea fantomelor statistice în experimentare”

• Fantomă statistică: când credeți că testul dvs. a avut impact asupra valorii dvs., dar în realitate nu există niciun impact. Te lasă păcălit de date
• S-au efectuat 100.000 de teste A / A: 60% din testele A / A au măsurat o diferență de cel puțin 1%.
• „Nu este semnificativ statistic” nu înseamnă că nu a avut niciun impact, ci doar că nu aveți suficiente dovezi pentru a respinge ipoteza nulă.
• Patru cauze ale fantomelor statistice:
  • Comparații multiple;
  • A trage cu ochiul;
  • Metrică proastă;
  • Aproape semnificativ.
• Comparații multiple:
  • Trebuie să țineți cont de acest lucru prin ajustarea valorii p.
  • Șansa fals pozitivă se aplică fiecărei comparații.
  • Ex. 1 comparație: 5% șanse de fals pozitiv; 8 comparații, 34% șanse de fals pozitiv!
  • Bazați ipoteza pe o singură valoare cheie, apoi alegeți valori secundare.
• A trage cu ochiul:
  • Privind datele și luând măsuri înainte de sfârșitul predeterminat al experimentului.
  • Acest lucru poate avea un efect imens asupra ratei fals pozitive.
  • Motive bune pentru a arunca o privire: verificați dacă există erori, opriți dezastrele, eficiența.
• Valoare greșită:
  • O valoare bună este semnificativă, interpretabilă, sensibilă, potrivită pentru test.
  • Semnificativ: surprinde ceea ce intenționați să schimbați.
  • Interpretabil: ușor de spus cum o modificare a modificat comportamentul utilizatorului.
  • Sensibil: poate detecta mai repede modificările mai mici.
  • Potrivit pentru test: testele normale își asumă independența și această eroare este distribuită în mod normal.
• Aproape semnificativ:
  • Fantoma ispitei. Oamenii vor să creadă la ce speră.
  • Nu există „aproape” semnificativ!

Emily Robinson: „6 linii directoare pentru testarea A / B”

• Etapele procesului de experimentare:
  • Proces. Nu poți face totul și lucrurile pe care nu le faci sunt încă importante.
  • Crearea de.
  • Analizand.
  • Luarea deciziilor. Cum să decid ce să facem în continuare?
• Cu cât sunt mai puține date, cu atât sunt mai puternice opiniile. Opiniile noastre sunt adesea greșite. Nu lăsați HiPPO-urile (Opinia celei mai plătite persoane) să vă omoare ideile; experimentează în schimb.
• Începeți cu date istorice: Care este populația ideii de testare? Care este rata dvs. de conversie actuală și creșterea estimată?
• Rulați analiza de putere! Important pentru determinarea punctului de oprire și evitarea unui fals negativ. (Optzeci la sută înseamnă că există 80% șanse să detectați modificarea dacă este acolo.)
• Dacă încercați mai multe modificări simultan, va fi imposibil să vă dați seama ce nu a funcționat; lucrați la teste incrementale mai mici.
  • Etsy a început prin lansarea tuturor modificărilor după încheierea testelor.
  • Mutat la un proces mai aprofundat pentru implementarea modificărilor de testare A / B cu cicluri mai mici.
• Idei de prototip înainte de a le lansa.
• Puneți un om de știință implicat, care se poate asigura că urmăriți valorile corecte. De asemenea, vă pot ajuta cu calculele puterii și iterați ideile.
• Luarea deciziilor:
  • Care este complexitatea tehnică și datoria pe care o adăugați?
  • Este o caracteristică fundamentală?
  • Ar putea exista un impact negativ prea mic pentru a fi detectat?
• Aveți grijă să lansați pe neutru - nu aveți o strategie solidă sau date suficiente pentru a sprijini luarea deciziilor.

Valerie Kroll: „Cum să prezinți rezultatele testelor pentru a inspira acțiune”

• La prezentarea datelor, întrebarea cheie este „Cu ce ​​vrei să se îndepărteze publicul tău?”
• Formula șablonului:
  • De ce am testat;
  • Ce am testat;
  • Rezultate;
  • Învățături;
  • Ce urmeaza.
• Diapozitivele dvs. nu sunt prezentarea dvs. Tu ești prezentarea.
• Spuneți cazul dvs. de afaceri:
  • Unde testezi asta?
  • Cine este publicul?
  • Ce vei măsura?
• Enunțați teza. (de ex. „Un mesaj de chat cu propunere de valoare va crește captarea clienților potențiali?”)
• Definiți cum a fost măsurat experimentul:
  • Afirmație de ipoteză;
  • KPI primar;
  • KPI secundari.
• Faceți prezentările interactive: derulați un sondaj - întrebați ce cred ei că ar câștiga.
• Prezentarea rezultatelor:
  • Impactul asupra KPI primar;
  • O vizualizare a KPI primar; oamenii vă vor înțelege mai bine rezultatele.
  • Segmentare pentru a arăta ce altceva ai găsit.
  • Păstrați învățăturile și acțiunile unul lângă altul. (Acest lucru ar trebui să dureze 40-50% din timpul prezentării dvs.)
• Dacă ceva nu se adaugă la prezentarea dvs., acesta îl elimină (de exemplu, statistici, informații tehnice etc.).
• Aveți un șablon previzibil. Oamenii știu la ce să se aștepte. Vă face munca mai rapidă.

Andre Morys: „Vom muri cu toții: de ce„ optimizarea ”este accelerarea evoluției”

• Efectul Thatcher (1980, experiment live): Este dificil să recunoaștem modificările unei fotografii de sus a unei fețe (Margaret Thatcher).
• Dacă nu cunoașteți modelul, este posibil să nu îl recunoașteți - același lucru este valabil și pentru CRO.
• Trebuie să schimbi perspectiva pentru a vedea adevărul din spatele lucrurilor.
• Ex. De ce Commerzbank moare?
  • Sincer, experiența e de rahat.
  • Dar de ce? Au designeri, CRO-uri, analiști
  • HiPPO-uri ignorante - conducerea nu simte durerea.
• „Adevărul - mai precis, o înțelegere exactă a realității - este fundamentul esențial pentru a produce rezultate bune.”
• Nu vorbiți despre modele de afaceri perturbatoare; cei care perturbă nu vorbesc despre asta. Sunt prea ocupați să perturbe.
• Creșterea digitală nu provine din tehnologie; se bazează pe o experiență excelentă a clienților.
• Dacă nu există intenția de a testa experiența clientului, nu veți vedea rezultate.
• Optimizarea este, prin fire, agilă: CRO furnizează date noi pentru echipă, pentru a demonstra că orice a făcut organizația a fost bun sau rău.
• Optimizatorii buni generează idei centrate pe client.
• Avantajul Amazonului este că generează continuu noi perspective.
  • Este un val - Tsunami agil. (Nu o puteți vedea.)
• Procesul de optimizare infinit: Analizați, stabiliți priorități, validați.
• Schimbați mentalitatea de management.
  • Managementului nu îi pasă de ce s-a schimbat pe site.
  • Prezentați rentabilitatea investiției programului de experimentare conducerii.
  • Sfat: Fii prieten cu directorul financiar.
  • Întâlniri la masa rotundă C-Suite - permit conducerii să discute despre problemele lor și apoi să fie aspiraționale (adică să vândă programul).
  • Conducerea vrea lucruri mari ! Cu toate acestea, uită că modificările mai mici produc rezultate mai mari (efect compus).

John Ekman: „Ce se strică în transformarea digitală (și cum să o remediem)

• „Transformarea digitală” nu este un obiectiv bun:
  • Obiectivele sunt „a pune produsul pe piață rapid” sau „un bun serviciu pentru clienți”.
  • Am stabilit (în mod greșit) obiectivul „transformării digitale” atunci când obiectivele nu ar trebui să se schimbe, ci doar instrumentele pentru a le atinge.
• Cele cinci moduri de transformare digitală:
  • Digitalizați produsul;
  • Înfășurați un strat de servicii digitale în jurul produsului;
  • Digitizarea proceselor „în culise”;
  • Digitalizați eforturile de marketing, vânzări și păstrare;
  • Inovați noi produse digitale.
• Trebuie să selectăm și să prioritizăm printre cele cinci moduri de transformare digitală; chiar și liderii digitali pot excela într-unul sau două moduri, dar nu și în altele.
• Conducerea crede că cheltuiește tone de bani; practicienii simt că nu au resurse.
  • Realitatea este că este creșterea bățului de hochei - trebuie să cheltuiți tone de bani înainte de a vedea rezultate (și apoi rezultatele sunt exponențiale).
  • Alocați bugetul noilor inițiative înainte de alocarea inițiativelor în curs .
• Obiectivele și evaluarea sunt aliniate greșit:
  • Proiectele mici nu sunt organizate în imaginea de ansamblu.
  • Cu transformarea digitală, nu cunoaștem amploarea randamentului sau investiția necesară; a te uita doar la rentabilitatea investiției nu te propulsează în viitor.
  • Soluții: OKR (Google), contabilitate inovație (Eric Ries), finanțare măsurată (VC).
• Trei superputeri digitale:
  • Abilitatea de a (1) asculta clienții;
  • Când ascultați, puteți (2) acționa; în caz contrar, acționați pe baza informațiilor greșite.
  • Dacă aveți amândouă, puteți (3) scala; în caz contrar, scalați lucrurile greșite.

Critchlow: „Ce se întâmplă dacă testele dvs. CRO câștigătoare vă înrăutățesc traficul de căutare? Sau modificările dvs. SEO vă distrug rata de conversie? ”

• Îngrijorarea generală este că SEO va înșela CRO, nu invers.
  • CRO se ocupă de partea inferioară a pâlniei (mai mulți oameni convertesc la vânzări).
  • SEO se ocupă de partea superioară a pâlniei (adăugând mai mulți oameni la pâlnie).
• O mulțime de pagini CRO chiar nu sunt indexate, dar multe sunt și testele CRO pot afecta traficul organic. (Am văzut că se întâmplă.)
• Experiment: SEO-urilor și specialiștilor în marketing non-digitale li s-a cerut să evalueze care dintre cele două pagini s-ar putea clasa mai sus:
  • Nimeni nu a reușit să atingă o precizie de 50% în predicție.
  • SEO-urile au fost doar marginal mai bune decât non-SEO-urile.
• Deci, cum putem face predicții mai bune? Testare SEO (DistilledODN).
• Modificările care funcționează pentru o nișă pot să nu funcționeze pentru alta - trebuie să testăm.
  • „Cele mai bune practici” SEO sunt specifice site-ului / industriei.
• UX este un factor de clasare (poate):
  • Google pregătește modelele de învățare automată pentru a le plăcea aceleași lucruri pe care le plac oamenilor.
  • Dar Google nu este perfect - fiecare modificare a algoritmului nu atinge acest obiectiv, dar asta încearcă să facă.
  • Astfel, ar trebui să construim ipoteze SEO din fundamentele UX.
• În cele din urmă, trebuie să testăm impactul SEO și CRO în același timp și vom beneficia de el. Suntem în aceeași echipă.

Brennan Dunn: „Cum să oferim experiențe complet personalizate la scară”

• Mulți oameni „cred” că personalizează, dar există o mulțime de personalizări nefolositoare.
• Lucruri pe care de fapt vreau să le personalizez: intenția mea, acțiunile mele, nivelul meu de cunoștințe.
• Două locuri de muncă principale pentru segmentare:
  • Făcând mesajul dvs. mai relevant, mai specific;
  • Utilizarea segmentării pentru a îmbunătăți raportarea.
• În segmentare, cele două lucruri care îmi pasă sunt „cine” și „ce”: „Sunt un [gol] și am nevoie de ajutorul tău cu [gol].”
• Cum să segmentați automat persoanele:
  • Intentie / Comportament
    1. Care sunt ultimele 10-20 de articole pe care cineva le-a citit pe site-ul nostru?
    2. Pagini de destinație originale.
    3. Anunț pe care au dat clic (în special pentru Facebook Ads).
    4. Recomandări.
  • Acțiuni
    1. Achiziții.
    2. Magneți de plumb.
    3. Webinarii.
  • Sondaje
    1. Linkuri declanșatoare: „Pe ce vă concentrați cel mai mult acum?”
    2. Sondaje. „Ce cauți să faci astăzi pe site-ul nostru?”
    3. Sondaje găzduite.
  • Clearbit
• Ce se întâmplă dacă nu știi cum ar trebui să segmentezi?
  • Când cineva se alătură unui curs de e-mail sau descarcă un magnet de plumb, întreabă-l în gol. (de ex. „Ce trebuie să obțineți de la acest curs prin e-mail?”)
• Cu personalizarea, putem folosi mesageria de nișă fără a fi de fapt o afacere de nișă.
• Mai puțină gândire, mai mult angajament = mai multe conversii.
• La final, personalizarea este relevantă.

Chad Sanderson: „Alinierea experimentării la dezvoltarea și marketingul produselor”

• Uneori, departamentele de marketing și inginerie doresc să facă experimente paralele și să se confrunte cu conflicte.
• Oamenii mai apropiați de produs au mai multă atracție în afaceri.
• Diferite tipuri de companii: Tech First (Bing, LinkedIn), Second (Booking.com, Grubhub), Third (Sephora, Target).
• În funcție de tipul de afacere, aveți diferențe:
  • Optimizare. Funcția nu ar exista fără instrumentul de experimentare; proiectarea experimentului poate avea loc în afara ciclului de sprint.
  • Validare. Caracteristica ar exista indiferent de experimentare; proiectarea experimentelor face parte din ciclul de dezvoltare.
• Marea reproiectare a Snapchat a fost bazată pe 83% în recenziile utilizatorilor - un exemplu de catastrofă pe care un proces bazat pe validare l-ar fi putut evita.
• Viteza paginii ucide. Optimizarea elimină ratele de conversie cu 5% sau mai mult? Tehnologiile de experimentare din partea clientului nu reușesc să mărească latența cu nimic mai puțin de 1000 ms. Fiecare latență de 100 ms determină o scădere de 0,5% a RPV.
• Pași către succes:
  • Înțelegeți structura dvs. actuală: optimizare sau validare.
  • Aflați unde lipsește acoperirea dvs. ROI este urmărit? Produsul este livrat cu experimente?
  • Reduceți decalajul între oameni, departamente - obțineți obiective reciproce pentru valorile programului.
  • Stabiliți un forum pentru partajarea rezultatelor și lucrul la proiecte comune (rezultate la nivel de program global, nu teste individuale).
  • Întâlniri lunare pentru a revizui în mod constant valorile și a rezolva forțele opuse.

Natasha Wahid: „Cum să obțineți întreaga organizație psihologică despre experimentare”

• Cultura este un factor de experimentare reușită. Luați acest scenariu:
  • Un campion de optimizare pentru o singură femeie începe să obțină idei de la toată lumea pentru experimentare.
  • Ea primește o mulțime de idei, dar pentru că este un spectacol pentru o singură femeie, se înneacă.
  • După un timp, devine o glumă - un loc în care ideile merg să moară.
• Cum ne descurcăm mai bine?
  • Inspirați - scânteia. Motivați oamenii să acționeze.
  • Educație - instruire. Formal sau informal.
  • Informează - comunică cunoștințe, acțiune.
• Echipa de bază deține programul. Se concentrează pe obținerea buy-in-ului executivului și pe creșterea impulsului.
• Ex. Trimis
  • Michelle a scos în evidență ceea ce îi lipsea companiei, neoptimizând canalele de bază.
  • A recrutat un inginer principal și un designer. Ei au adus, de asemenea, un partener abil de la o agenție externă.
  • Toată lumea a putut vedea impactul experimentului. Inginerul a codificat imediat varianta câștigătoare.
• Ex. Pătrat
  • Una dintre cele mai vizibile echipe de produse a trecut printr-o reproiectare care s-a rezolvat.
  • Au organizat ateliere de lucru care s-au concentrat pe schimbarea mentalității oamenilor în jurul experimentării.
  • Concentrat pe încurajarea colaborării, întrebarea echipelor dacă au existat idei din alte experimente care ar putea fi relevante pentru echipa actuală.
• Modelul RACI:
  • R - responsabil - efectuarea muncii propriu-zise;
  • A - responsabil - proprietarul proiectului;
  • C - consultant - furnizarea de informații despre gestionarea procesului;
  • I - informații - oameni care trebuie doar să fie informați.
• Exemplu pentru comunicarea RACI:
  • Proprietar: campion de experimentare;
  • Mesaj: Experimentul X a fost lansat;
  • Canal: Notificare slack;
  • Public: echipa de ingineri;
  • Sincronizare: automat atunci când experimentul este lansat în instrument.

Concluzie

Această postare este de 21 de sesiuni de jumătate de oră condensate în mai puțin de 5.000 de cuvinte. Dacă doriți experiența completă - în interiorul și în afara sesiunilor conferinței - trebuie pur și simplu să fiți acolo.

Veștile bune? Nu trebuie să așteptați un an întreg. Join us at Digital Elite Camp in Estonia on June 13–15.