Podsumowanie CXL Live 2019: na wynos od każdego mówcy

Co za pośpiech – 24 prelegentów w ciągu trzech dni w malowniczym kurorcie. Dodaj do tego 400 starych i nowych twarzy, mnóstwo rozmów, muzykę na żywo i więcej niż kilka piw. CXL Live to doświadczenie.

Było też to: Nasze wideo inauguracyjne, które zdradziło wszystkie sekrety uprawy…wzrostu:

Jeśli zastanawiasz się, co przegapiłeś, oto najważniejsze informacje z każdej z sesji CXL Live w tym roku.

Els Aerts: „Utracona sztuka zadawania pytań”

• Ankiety nie są do niczego, ale większość ankiet jest do niczego. Mogą pracować, jeśli:
  • Odpowiednio zadajesz pytania badawcze.
  • Przestajesz koncentrować się na przedstawianiu „liczb” i prezentowaniu informacji.
• Jak zadawać właściwe pytania:
  • Nie pytaj o przyszłość (np. „Jeśli dodamy funkcję X, jakie jest prawdopodobieństwo, że kupisz Y?); Twoi użytkownicy nie są medium.
  • Nie pytaj o rzeczy, które są zbyt odległe w przeszłości — ludzka pamięć jest wyjątkowo zawodna.
  • Nie zadawaj wiodących pytań. (Np. Nie pytaj, jak coś było „dobre”; pytaj, jak „dobre lub złe” lub po prostu „jak” było.)
• Pytania z uprzedzeniami w kierunku negatywów mogą dostarczyć więcej informacji zwrotnych (np. „Jak trudno było…”).
• Miejsce i czas dostarczenia ankiety może mieć wpływ na wyniki — jeśli jest to sekcja witryny, w której użytkownik odczuwa ból, spowoduje to stronniczość odpowiedzi.
• Strony z potwierdzeniami i podziękowaniami to świetna okazja do zadawania ludziom pytań. (np. Czy brałeś pod uwagę konkurenta? Jeśli tak, jakie mamy cechy, które sprawiły, że wybrałeś nas zamiast nich?)
• Przygotowując rozmowy kwalifikacyjne, nazywaj je „czatami”, a nie rozmowami kwalifikacyjnymi – i traktuj je jak czaty; Przewiduj, dokąd może dojść rozmowa i słuchaj, słuchaj, słuchaj.

Joanna Wiebe: „Writing Mirrors: jak wykorzystać głos klienta do pisania kopii o wysokiej konwersji”

• 90% copywritingu słucha.
• Celem jest napisanie kopii, w której ludzie widzą siebie – swoje obecne ja i najbliższe ja.
• Walidacja kopii: czy może to być przełom lub porażka? Czy wystarczy pchanie rzeczy, aby być całkowitym przełomem? Czy absolutnie okropne?
• Wyjdź poza standardowe źródła głosu danych klientów ; lepsze opcje to:
  • Wywiad założycieli (pierwotni „klienci”);
  • Ankiety na stronie z podziękowaniem;
  • Testowanie użytkownika.com;
  • Telefony do sprzedaży kopalni;
  • Bilety wsparcia kopalni;
  • Moje komentarze na Facebooku;
  • Kopiuj recenzje online.
• Wywiady z założycielami mogą znaleźć historię, propozycję wartości i wielki pomysł.
  • Przeprowadź wywiad na wideo i nagraj go (za pozwoleniem).
  • Transkrybuj wywiad (rev.com).
  • Wydrukuj i przeczytaj transkrypcję za pomocą zakreślacza: Co się wyróżnia? Co za różnica?
• Rozmowy sprzedażowe i nagrania demonstracyjne mogą kreślić sekwencje komunikacji, hierarchie i pomagać w utrwalaniu kopii.
  • Uzyskaj wgląd w to, jak faktycznie myśli Twój potencjalny klient.
  • Obserwuj ich miny, gdy widzą demo.
  • Przejdź do części, w których potencjalny klient mówi.
  • Uważaj na momenty w stylu dokumentalnym. (np. jeśli dasz komuś transkrypcję, czy może to odegrać? To dobry moment.)
  • Uważaj na zwroty takie jak „Martwię się o…” i „Czy możesz mi pokazać…”
  • Oznacz to, co znajdziesz, aby użyć tego w swojej kopii (#objection #późny etap itp.).

Carrie Bolton: „Porozmawiaj ze swoimi klientami i kierownikami — jak naprawdę poprawić jakość obsługi

• Doświadczenie klienta to postrzeganie przez klienta interakcji z Twoją firmą.
• Vanguard zdecydował, że skupienie się na doświadczeniu klienta pomoże im odróżnić się od konkurencji:
  • Skonfiguruj eksperymenty z dostosowywaniem i personalizowaniem obsługi klienta.
  • Dawny. Klienci korzystają z Internetu, aby uniknąć połączeń telefonicznych — przebudowana strona, aby była bardziej przyjazna dla eksperymentów i ukierunkowana na obniżenie stawek połączeń od klientów.
• Jak zrobić sprawę na zewnątrz:
  • Uzyskaj informacje o konkurencji ze swojej branży lub najlepszych w swojej klasie firm (np. USAA, CIGNA);
  • Badania Forrestera;
  • Blogi dotyczące doświadczeń klientów.
• Jak zrobić sprawę wewnętrznie:
  • Badania ilościowe lub jakościowe od Twoich klientów (np. analityka cyfrowa, badania rynku).
  • „Porozmawiaj z ludźmi, którzy rozmawiają z ludźmi”.
  • Porozmawiaj ze swoimi finansistami: Jakie wskaźniki wydajności przyciągają uwagę?
• Powiedz nie sprzedawaj.
• Kiedy „sprzedajesz”, ludzie przejrzą to na wylot.
• Ankieta i informacje zwrotne od klientów mogą ujawnić szczere i potrzebne informacje zwrotne, aby dowiedzieć się, co im „powiedzieć”.

Judah Phillips: „Jak nauczyłem się przestać martwić się o uczenie maszynowe i pokochać sztuczną inteligencję”

• Sztuczna inteligencja daje analitykom możliwość patrzenia w przyszłość podczas podejmowania decyzji — zamiast we wstecznym lusterku.
• Obecnie jesteśmy na początku Pragmatic AI (np. Siri, Alexa)
• Sztuczna inteligencja wkracza również do miejsca pracy (np. silniki rekomendacji, chatboty, automatyczne sugestie współpracy).
• AI to wszystko, co pobiera dane historyczne (dane treningowe) i uczy się na podstawie wcześniejszych wyników tych danych; zazwyczaj jest to nadzorowane uczenie maszynowe.
• Deep Learning to idea sieci neuronowych. To obszar nadmiernie rozdmuchanych oczekiwań.
  • Konwolucyjne sieci neuronowe (CNN) są wykorzystywane do rozpoznawania obrazów i wideo.
  • Rekurencyjne sieci neuronowe są dobre dla danych szeregów czasowych.
  • Generacyjne sieci przeciwstawne (GAN) są dobre w tworzeniu fałszywych danych i obrazów z innych danych i obrazów, na których je trenujesz.
• Co zrobić z AI:
  • Przewidywanie rezygnacji;
  • Określ, które oferty wysłać do osoby;
  • Przyspieszenie innowacji;
  • Personalizuj treść;
  • Marketing oparty na koncie;
  • Atrybucja algorytmiczna;
  • Prognozuj przyszły wzrost;
  • Przewiduj winę.
• Zrozumienie, co robią modele (niekoniecznie leżące u ich podstaw algorytmy) oraz wiedza, kiedy je zastosować i jak interpretować wyniki, to umiejętności, których będą potrzebować analitycy.
• Zautomatyzowane uczenie maszynowe pomoże nam rozwiązać problem zbyt dużej ilości danych i braku czasu:
  • Zautomatyzowane uczenie maszynowe prognozuje w ciągu kilku minut z dużą dokładnością.
  • Historycznie to było drogie. Nigdy więcej. Bezkodowa sztuczna inteligencja pozwoli Ci to zrobić już dziś.

Ton Wesseling: „Walidacja w każdej organizacji”

• Dlaczego nasze zadania CRO umrą: Zespoły działają w różnym tempie.
  • Zespoły zajmujące się konwersją: 6–8 tygodniowe cykle eksperymentów;
  • Zespoły marketingowe: Przygotuj, kampania, przygotuj, kampania;
  • Zespoły produktowe: 2-tygodniowe sprinty.
• Zespoły zajmujące się konwersją/optymalizacją mogą stać się koszmarem dla zespołów marketingowych i produktowych.
• Zespoły optymalizacyjne mają dużo (za dużo) dumy:
  • Mówią innym zespołom, co robią źle.
  • Może być obłudny i nadmiernie krytyczny.
  • Zespoły optymalizacyjne powinny mieć więcej pokory.
• Dlaczego warto zabijać zespoły optymalizacyjne:
  • Czy optymalizujemy nieszczelne wiadra? Należy zaangażować zespoły produktowe i marketingowe.
  • Termin „optymalizacja współczynnika konwersji” tak naprawdę nie opisuje tego, co robimy — pomagamy klientom osiągnąć ich cele biznesowe.
  • Dlaczego zawsze skupiamy się na sieci? Optymalizacja poczty e-mail, mediów społecznościowych itp. to także optymalizacja.
• Optymalizacja to KPI, na który chcesz wpłynąć.
  • Czasami obejmuje to kliknięcia, zachowania, transakcje na użytkownika itp.
  • Powinieneś optymalizować pod kątem potencjalnej wartości życiowej; powinny istnieć uniwersalne KPI, pod kątem których optymalizują się wszystkie zespoły.
• Optymalizacja to przede wszystkim efekty — uzyskiwanie lepszych wyników.
  • Jak to robimy? Wszystkie działy powinny współpracować, aby stworzyć „centrum walidacji doskonałości”.
  • Umożliwić rozwój oparty na dowodach w samym sercu firmy — zdemokratyzować badania, aby zespoły produktowe nie musiały martwić się statystykami.
  • Priorytety wdrażania = jakość dowodów x potencjalny wpływ na wspólne cele.
• Nie bądź popychaczem; być aktywatorem.

Tammy Duggan-Herd: „Pułapki nieświadomych: jak niewłaściwe zastosowanie psychologii wpływa negatywnie na współczynnik konwersji”

• Zrozumienie ludzkiego zachowania jest skomplikowane, a działanie na nie jeszcze bardziej.
• Jeśli zastosujesz się do niewłaściwych zasad, możesz zaszkodzić konwersji, marketingowi i marce.
• Podstawą problemu jest sposób, w jaki badania docierają do opinii publicznej:
  • Zaczyna się od naukowca, który jest pod presją, aby tworzyć rzeczy, które cieszą się zainteresowaniem w mediach/czasopismach naukowych.
  • Czasopisma naukowe mają 70% wskaźnik odrzuceń — bardzo mało to rozróżnia.
  • Kiedy coś trafia do publikacji, informacje prasowe skupiają się na promocji, a nie na dokładności.
  • Media wciąż naciągają roszczenia; blogerzy pogarszają problem.
  • Ostatecznie konsumujemy na Twitterze – 20 stron skróconych do 160 znaków.
• To gra przez telefon — w najlepszym przypadku zniekształcone informacje nie mają żadnego wpływu; najgorszy scenariusz jest taki, że generuje odwrotny skutek.
• Pułapki nieświadomego praktyka:
  • Nadmierne uproszczenie. Media upraszczają wyniki, ponieważ muszą być zwięzłe, chwytliwe; kwalifikatory i niuanse są usuwane.
  • Przecenianie wielkości efektów. Istotność statystyczna nie równa się znaczeniu praktycznym — wielkość efektu.
  • Nadmiernie uogólniając. Często pomijamy ograniczenia studiów, które są konieczne, ponieważ większość studiów odbywa się z licencjatami w laboratorium (nie reprezentatywnym).
  • Izolowanie ustaleń. Media traktują pojedyncze wyniki jako ostateczne; żadne pojedyncze badanie samo w sobie nie może wiele powiedzieć; dodatkowe zmienne mogą negować/odwracać efekt.
• Musisz wiedzieć, jak uniknąć pułapek:
  • Przeczytaj oryginalne studium. Co właściwie znaleziono? Jaka była wielkość efektu? Jak to zostało przeprowadzone?
  • Nie daj się złapać w hacki.
  • Przetestuj to sam. Bądź świadomy, jak może się nie udać lub odbić.

Brian Cugelman: „Psychologia konsumenta, dopamina i projektowanie konwersji”

• Mitologia dopaminy twierdzi, że
  • Dopamina jest neuroprzekaźnikiem przyjemności lub szczęścia.
  • Zmienne nagrody są tak potężne, że użytkownicy nie mogą się im oprzeć.
  • Firmy takie jak Facebook manipulują ludźmi za pomocą dopaminy.
• Jeśli te twierdzenia były prawdziwe:
  • Media społecznościowe byłyby czystą przyjemnością.
  • Wszyscy bylibyśmy uzależnieni, uzależnieni od złych manipulatorów.
  • Większości ludzkości brakowałoby jakiejkolwiek samokontroli.
• W rzeczywistości dopamina sprawia, że ​​ludzie czują się pobudzeni i ciekawi.
  • Zapewnia emocjonalną nagrodę, która szybko zanika, pozostawiając ludzi niezadowolonych.
  • Ludzie przyzwyczajają się do wyzwalaczy, które przestają wyzwalać dopaminę.
  • Nagrody dopaminowe wzmacniają zachowania.
  • Zbyt mało dopaminy wiąże się z upośledzeniem ruchowym.
• Jak wyzwalamy dopaminę u naszych odbiorców? Podaj cyfrową obietnicę lub niespodziankę :
  • Wirtualny prezent powitalny;
  • Szybkie wzbogacanie się ofert;
  • Tajemnicze pudełka;
  • Aukcje;
  • Szczęśliwy losowanie;
  • Reklamy: „Jak dziś wyglądają te dziecięce gwiazdy”;
  • Ankiety/quizy BuzzFeed, np. Jakim psem jesteś?
• Jak to wykorzystujemy w marketingu cyfrowym?
  • Wizualne wskazówki dotyczące prezentów i nagród;
  • Tajemnicze nagrody;
  • Haczyki redakcyjne;
  • Propozycje wartości;
  • Zestawienia świadczeń;
  • Wszelkie wskazówki dotyczące nagród.
• Mózg przyzwyczaja się do starych nagród (np. ślepoty na banery).
• Jak przezwyciężyć przyzwyczajenie?
  • Oferuj więcej, lepiej, więcej.
  • Użyj nowości.
  • Dołącz niespodzianki.
  • Zatrzymaj całą historię.
  • Zmniejsz częstotliwość zasięgu.
  • Dodaj losowe prezenty.
  • Przepakuj dzisiejsze materiały.
  • Dodaj innowacje.
  • Używaj zmiennych nagród.
• Wykorzystaj niepewność na swoją korzyść:
  • Jeśli rozdajesz coś z wysyłką, użyj losowej nagrody ze zwiększonym oczekiwaniem.
• Stosuj zarządzanie oczekiwaniami, bądź szczery, dotrzymuj obietnic, a będziesz miał zasłużoną dopaminę.

Lukas Vermeer: ​​„Demokratyzowanie eksperymentów online na Booking.com”

• Ilekroć ktoś pokazuje ci dane, twoje pierwsze pytanie powinno brzmieć „Gdzie i jak te dane zostały pozyskane/zebrane?”
• Niektórzy błędnie rozumieją walidację opartą na danych jako ograniczenie wolności twórczej.
• W Booking panuje zaufanie do ważności danych, a decyzje są widoczne dla wszystkich. Umożliwia to ciągły, indywidualny proces podejmowania decyzji.
• „Liczba mnoga anegdoty to nie dane” — do podejmowania decyzji potrzebujemy dowodów .
• Unikaj gier polegających na zgadywaniu (np. „Który z dwóch kolorów przycisków jest lepszy?”):
  • Powinniśmy zamiast tego przeprowadzić testowanie hipotez, które zawiera znacznie bardziej szczegółowy opis myślenia stojącego za eksperymentem.
  • Nie oznacza to, że nie możesz testować kolorów przycisków, ale że znacznie lepiej rozumiesz, dlaczego to robisz i które odmiany należy przetestować.
• Szablon hipotezy: Teoria, Walidacja, Cel.
• Kwestionowanie własnego zrozumienia produktu poprzez eksperymentowanie ma kluczowe znaczenie:
  • Odwraca to myślenie „wszystkie testy powinny wygrać” do góry nogami – „9/10 testów kończy się niepowodzeniem” (VWO), ale uczenie się nigdy nie kończy się porażką.
• Znajdź najmniejsze kroki, aby szybko przetestować najbardziej ryzykowne założenia.

Ryan Thomas: „Optymalizacja pod kątem rejestracji przez e-mail”

• Przechwytywanie wiadomości e-mail może czasami działać wbrew Twoim głównym celom
  • Dawny. Optymalizacja wyskakującego okienka konkursowego przyniosła ponad 300% wzrost liczby rejestracji e-maili, ale współczynnik konwersji e-commerce i AOV spadły
  • Poprawka: zastąp konkurs ofertą zachęcającą do sprzedaży już teraz (połączenie oferty powitalnej i wyjściowej z niewielkim rabatem)
  • Podobny wzrost liczby rejestracji e-maili plus wzrost współczynnika konwersji transakcji i przychodów
• Po co skupiać się na zapisach e-mail?
  • Spójrz na dane: ruch e-mail często działa najlepiej; Przykład upływu czasu i długości ścieżki — dwie trzecie konwersji tego samego dnia, ale mniej niż połowa w pierwszym punkcie kontaktu
  • Zbuduj relację z klientem
  • Strategia testowania: Niezależny KPI (mało prawdopodobne, aby kolidował z innymi testami); Mały ruch: możesz przeprowadzić test tutaj, gdy nie masz wystarczającej liczby makrokonwersji; Testowanie jako nauka: wypróbuj wiadomości i motywację
• Proces ResearchXL
  • Analiza heurystyczna
  • Śledzenie myszy
  • Analityka internetowa
  • Testowanie użytkownika
  • Ankiety jakościowe
  • Analiza techniczna
• Ankiety klientów
  • Pytania otwarte, nieprowadzące
  • Poznaj motywacje, proces podejmowania decyzji, wahania, frustracje
• Informacje mogą pochodzić z dowolnego miejsca
• Skoreluj punkty danych, aby nadać priorytet swojej mapie drogowej (PXL)
• Więcej przykładów:
  • Optymalizacja wyskakującego okienka konkursowego dla często kupowanego produktu spowodowała wzrost liczby rejestracji e-maili bez wpływu na wskaźniki e-commerce
  • Dodanie oferty powitalnej tam, gdzie żadna nie istniała przed zwiększeniem liczby rejestracji e-maili o 95%, co spowodowało niewielki wzrost współczynnika konwersji transakcji
• Na wynos:
  • Dopasuj swoją strategię do tego, co jest ważne dla firmy — bez próżnych wskaźników.
  • Wypróbuj różne taktyki, narzędzia, oferty i projekty.
  • Zrób swoje badania!

Nina Bayatti: „Czy to naprawdę zwycięzca? Dane ze ścieżki, które powinieneś śledzić”

• Istnieje mnóstwo danych, które możesz monitorować:
  • Kurs wymiany;
  • Współczynnik odrzuceń;
  • Współczynnik klikalności;
  • Wyświetlenia strony;
  • Przechwytuje ołów;
  • Kurs konwersji zakupu.
• Ale nie opowiadają całej historii.
• Aby dojść do pewnych wniosków, musisz przeanalizować dane ze ścieżki.
• W ClassPass postrzegają polecenia jako ważne dla pozyskania nowych klientów, dlatego warto zachęcać do polecania.
  • Przetestowali, oferując 10 darmowych kredytów na trening z kumplem.
  • Zaproszenia wzrosły o 50%; 35% wzrost w pozyskiwaniu rekomendacji.
  • Potem zauważyli, że kanibalizują inne kanały — osoby dokonujące konwersji jako odesłania to potencjalni klienci już pozyskani z innych kanałów.
• Przygotowanie eksperymentów do sukcesu:
  • Zdefiniuj mierniki sukcesu.
  • Podczas określania wielkości próbki należy wziąć pod uwagę wszystkie etapy lejka (tj. Uczyń ją wystarczająco dużą również do analizy dna lejka).
  • Identyfikuj i powtarzaj dźwignie w dół ścieżki.
  • Zachęty działają, ale mogą działać zbyt dobrze i nawracać ludzi, którzy tak naprawdę nie są w usługę/produkt lub kanibalizować inne kanały.
  • Zawsze bierz pod uwagę wpływ zwycięskich testów na wzrost i koszty.

Eric Allen: „Przegrane testy również mogą być zwycięzcami. Jak docenić i uczyć się na przegranym eksperymencie”.

• Koszt eksperymentów — masz nadzieję, że korzyści przewyższą koszty.
• Dlaczego przegrana boli? Straty są dla nas większe niż zyski.
• Nauka ponad wiedzą: Wiedza jest skończona; zaprojektuj każdy eksperyment w taki sposób, aby można było wyciągnąć wnioski, nawet ze strat.
• Błędy w testach przeprojektowania Ancestry.com:
  • Pierwszy test: Dowiedzieliśmy się, że zmieniliśmy się za bardzo, potrzebowaliśmy wyizolować zmienne.
  • Drugi test: Konsumenci nie rozumieją różnicy między pakietami i wybierają po prostu najniższą cenę.
  • Trzeci test: strony z ofertami są zbyt złożone, a konsumenci spędzają na nich zbyt dużo czasu.
  • Czwarty test: zbyt wiele osób korzysta teraz z pakietu krótkoterminowego.
  • Piąty test: to po prostu nie działa. Przywróć oryginał.
• Naucz się przeformułować stratę: „ Testy A/B to nasz koszt czesnego. Nauka kosztuje. ”
• Wpływ testowania:
  • Bazowy wskaźnik uruchomienia: 100 mln USD rocznie;
  • Wyciąg testowy: 10%;
  • Czas trwania testu: 90 dni (25%);
  • Negatywny wpływ: 2,5 mln USD;
  • Całkowity przychód: 97,5 mln USD.
• Wpływ wdrożenia bez testowania:
  • Bazowy wskaźnik uruchomienia: 100 mln USD rocznie;
  • Wyciąg testowy: 10%;
  • Czas trwania testu: 12 miesięcy;
  • Negatywny wpływ: 10 mln USD;
  • Całkowity dochód: 90 milionów dolarów.
• Całkowite oszczędności dzięki testom: 7,5 miliona dolarów.
• Uczenie się na podstawie serii testów może zamienić przegrane w wygraną.
• Na wynos:
  • James Lind: Jest koszt, ale także plus.
  • Jeff Bezos: Kontynuuj eksperymenty.
  • Jay-Z: Straty to lekcje.

Stefanie Lambert: „Prawdziwa rozmowa: trudne lekcje, których wyciągnięto podczas tworzenia programu optymalizacji”

• Wrażliwość na kulturę organizacyjną ułatwi każdemu życie.
  • Jeśli firma robi rzeczy w inny sposób, może to oznaczać, że musisz się dopasować.
• Diabeł tkwi w szczegółach.
  • Musieliśmy kilkakrotnie wznawiać test, ponieważ poruszaliśmy się zbyt szybko.
  • W przypadku prostego testu połączenie Google Analytics z Optymalizacją Google zajęłoby kilka sekund, ale ponieważ tego nie zrobiliśmy, zmarnowaliśmy dwa tygodnie.
• Jeśli nie jest poparty danymi, prawdopodobnie nie będzie działać.
  • Twoja kolejka testowa powinna składać się głównie z testów opartych na danych.
  • Linia ubrań naprawdę chciała pokazać jakość swoich ubrań i powiększyć obrazy. Ale pomysł nie wziął się z danych.
  • Gdy pokazaliśmy większe zdjęcia, na stronie było mniej produktów, co obniżyło CTR.
• Do uzyskania wyjątkowych wyników niezbędne są dane ilościowe i jakościowe.
  • Po wdrożeniu testu rozczarowaliśmy się 20% spadkiem liczby inicjacji formularzy.
  • Nowy formularz wyglądał lepiej i dobrze się sprawdził w innych miejscach na stronie.
  • Przefiltrowaliśmy nagrania sesji pod kątem przypadków użycia kontroli i wariacji.
  • W nowym wariancie forma wyróżniła się na tyle, że odwiedzający rozpoznali ją jako formę, więc więcej użytkowników odeszło, zaczyna się malejąca forma.
• Ciekawość nie zabiła kota.
  • Wyróżnij się troską na tyle, by zadawać trudne pytania. (np. „To jest naprawdę dobre, ale czy mogłoby być lepiej?”)
  • Kiedy zaczynałem, czułem się nieswojo, opierając duże decyzje biznesowe na danych z narzędzia.
  • Musiałem nauczyć się statystyk, aby zaufać danym.

Lizzie Eardley: „Pogoń za statystycznymi duchami w eksperymentach”

• Duch statystyczny: Kiedy myślisz, że twój test wpłynął na twoje metryki, ale w rzeczywistości nie ma to żadnego wpływu. Dają się nabrać na dane
• Przeprowadzono 100 000 testów A/A: 60% testów A/A wykazało różnicę co najmniej 1%.
• „Nieistotne statystycznie” nie oznacza, że ​​nie miało to żadnego wpływu, po prostu nie masz wystarczających dowodów, aby odrzucić hipotezę zerową.
• Cztery przyczyny występowania duchów statystycznych:
  • Wielokrotne porównania;
  • Zerkanie;
  • Zła metryka;
  • Prawie znaczące.
• Wielokrotne porównania:
  • Trzeba to uwzględnić, dostosowując wartość p.
  • Szansa fałszywie dodatnia dotyczy każdego porównania.
  • Dawny. 1 porównanie: 5% szans na fałszywie pozytywny wynik; 8 porównań, 34% szans na fałszywie pozytywny wynik!
  • Oprzyj hipotezę na jednej kluczowej metryce, a następnie wybierz metryki dodatkowe.
• Zerkanie:
  • Przeglądanie danych i podejmowanie działań przed wcześniej ustalonym zakończeniem eksperymentu.
  • Może to mieć ogromny wpływ na odsetek fałszywych trafień.
  • Dobre powody, aby zajrzeć: sprawdź błędy, zatrzymaj katastrofy, wydajność.
• Zła metryka:
  • Dobra metryka jest miarodajna, możliwa do zinterpretowania, wrażliwa i odpowiednia do testu.
  • Sensowne: rejestruje to, co zamierzałeś zmienić.
  • Zrozumiały: łatwo powiedzieć, jak zmiana zmieniła zachowanie użytkownika.
  • Wrażliwe: szybciej wykrywa mniejsze zmiany.
  • Dopasowanie do testu: Normalne testy zakładają niezależność, a błąd ma rozkład normalny.
• Prawie znaczące:
  • Duch pokusy. Ludzie chcą wierzyć w to, na co mają nadzieję.
  • Nie ma czegoś takiego jak „prawie” znaczące!

Emily Robinson: „6 wytycznych dotyczących testów A/B”

• Etapy procesu eksperymentowania:
  • Proces. Nie możesz zrobić wszystkiego, a rzeczy, których nie robisz, są nadal ważne.
  • Tworzenie.
  • Analizowanie.
  • Podejmowanie decyzji. Jak zdecydować, co dalej?
• Im mniej danych, tym silniejsze opinie. Nasze opinie są często błędne. Nie pozwól, aby HiPPO (Opinia Najwyższej Płatnej Osoby) zniszczyły Twoje pomysły; zamiast tego eksperymentuj.
• Zacznij od danych historycznych: Jaka jest populacja Twojego pomysłu na test? Jaki jest Twój obecny współczynnik konwersji i szacowany wzrost?
• Uruchom analizę mocy! Ważne dla określenia punktu zatrzymania i uniknięcia fałszywego wyniku negatywnego. (Osiemdziesiąt procent oznacza, że ​​istnieje 80% szansy, że wykryjesz zmianę, jeśli istnieje).
• Jeśli spróbujesz wielu zmian na raz, nie będzie możliwe ustalenie, co nie zadziałało; zamiast tego pracuj nad mniejszymi testami przyrostowymi.
  • Etsy zaczęło od opublikowania wszystkich zmian po zakończeniu testów.
  • Przeniesiono do bardziej szczegółowego procesu wdrażania zmian w testach A/B w mniejszych cyklach.
• Prototypuj pomysły przed ich opublikowaniem.
• Zaangażuj naukowca, który może upewnić się, że śledzisz właściwe wskaźniki. Mogą również pomóc w obliczeniach mocy i iteracji pomysłów.
• Podejmowanie decyzji:
  • Jaka jest złożoność techniczna i dług, który dodajesz?
  • Czy to podstawowa cecha?
  • Czy może wystąpić negatywny wpływ, który jest zbyt mały do ​​wykrycia?
• Uważaj, aby rozpocząć na neutralnym poziomie — nie mając solidnej strategii lub wystarczającej ilości danych, aby wesprzeć podejmowanie decyzji.

Valerie Kroll: „Jak prezentować wyniki testów, aby zainspirować do działania”

• Podczas prezentowania danych kluczowe pytanie brzmi: „Z czym chcesz, aby Twoi odbiorcy odeszli?”
• Formuła szablonu:
  • Dlaczego testowaliśmy;
  • Co przetestowaliśmy;
  • Wyniki;
  • Nauka;
  • Co dalej.
• Twoje slajdy nie są twoją prezentacją. Jesteś prezentacją.
• Przedstaw swoje uzasadnienie biznesowe:
  • Gdzie to testujesz?
  • Kim jest publiczność?
  • Co zmierzysz?
• Podaj tezę. (np. „Czy komunikat na czacie z propozycją wartości zwiększy liczbę potencjalnych klientów?”)
• Określ sposób pomiaru eksperymentu:
  • Stwierdzenie hipotezy;
  • podstawowy KPI;
  • Dodatkowe KPI.
• Spraw, aby prezentacje były interaktywne: Przeprowadź ankietę — zapytaj ludzi, co ich zdaniem wygra.
• Prezentacja wyników:
  • Wpływ na podstawowy KPI;
  • Jedna wizualizacja podstawowego KPI; ludzie lepiej zrozumieją Twoje wyniki.
  • Segmentacja, aby pokazać, co jeszcze znalazłeś.
  • Utrzymuj wiedzę i działania obok siebie. (Powinno to zająć 40–50% czasu prezentacji).
• Jeśli coś nie dodaje do Twojej prezentacji, to ją odbiera (np. statystyki, informacje techniczne itp.).
• Miej przewidywalny szablon. Ludzie wiedzą, czego się spodziewać. Sprawia, że ​​Twoja praca jest szybsza.

Andre Morys: „Wszyscy umrzemy: dlaczego„ optymalizacja ”jest przyspieszeniem ewolucji”

• Efekt Thatchera (1980, eksperyment na żywo): Trudno jest rozpoznać zmiany w odwróconym zdjęciu twarzy (Margaret Thatcher).
• Jeśli nie znasz wzoru, możesz go nie rozpoznać – to samo dotyczy CRO.
• Musisz zmienić perspektywę, aby zobaczyć prawdę kryjącą się za rzeczami.
• Dawny. Dlaczego Commerzbank umiera?
  • Szczerze mówiąc, doświadczenie jest do bani.
  • Ale dlaczego? Mają projektantów, CRO, analityków
  • Ignoranckie HiPPO — kierownictwo nie odczuwa bólu.
• „Prawda – a dokładniej dokładne zrozumienie rzeczywistości – jest podstawową podstawą do osiągania dobrych wyników”.
• Nie mów o destrukcyjnych modelach biznesowych; ci, którzy zakłócają, nie mówią o tym. Są zbyt zajęci przeszkadzaniem.
• Rozwój cyfrowy nie pochodzi z technologii; opiera się na świetnych doświadczeniach klientów.
• Jeśli nie masz zamiaru testować doświadczenia klienta, nie zobaczysz wyników.
• Optymalizacja jest z natury sprawna: CRO dostarcza zespołowi nowe dane, aby udowodnić, że wszystko, co zrobiła organizacja, było dobre lub złe.
• Dobrzy optymalizatorzy generują pomysły, które są zorientowane na klienta.
• Zaletą Amazon jest to, że stale generują nowe spostrzeżenia.
  • To fala – zwinne Tsunami. (Nie możesz tego zobaczyć.)
• Proces optymalizacji Infinity: analizuj, ustalaj priorytety, sprawdzaj poprawność.
• Zmień sposób myślenia kierownictwa.
  • Kierownictwo nie dba o to, co zmieniło się na stronie.
  • Przedstaw kierownictwu ROI programu eksperymentalnego.
  • Wskazówka: zaprzyjaźnij się z dyrektorem finansowym.
  • Spotkania przy okrągłym stole C-Suite — pozwalają kierownictwu omówić swoje problemy, a następnie dążyć do aspiracji (tj. sprzedawać program).
  • Kierownictwo chce wielkich rzeczy! Zapominają jednak, że mniejsze zmiany dają większe rezultaty (efekt złożony).

John Ekman: „Co się psuje w cyfrowej transformacji (i jak to naprawić)

• „Cyfrowa transformacja” nie jest dobrym celem:
  • Celem jest „szybkie wprowadzenie produktu na rynek” lub „dobra obsługa klienta”.
  • My (błędnie) wyznaczamy sobie cel „cyfrowej transformacji”, gdy cele nie powinny się zmieniać, a jedynie narzędzia do ich osiągnięcia.
• Pięć sposobów cyfrowej transformacji:
  • Digitalizuj produkt;
  • Owiń warstwę usług cyfrowych wokół produktu;
  • Digitalizuj procesy „za kulisami”;
  • Digitalizuj działania marketingowe, sprzedażowe i retencyjne;
  • Innowacyjność nowych produktów cyfrowych.
• Musimy wybrać i nadać priorytet wśród pięciu sposobów transformacji cyfrowej; nawet liderzy cyfrowi mogą się wyróżniać na jeden lub dwa sposoby, ale nie na inne.
• Przywództwo myśli, że wydaje mnóstwo pieniędzy; praktycy czują, że nie mają środków.
  • W rzeczywistości jest to wzrost kija hokejowego – musisz wydać mnóstwo pieniędzy, zanim zobaczysz jakiekolwiek wyniki (a wtedy wyniki są wykładnicze).
  • Przydziel budżet na nowe inicjatywy przed przydzieleniem bieżących inicjatyw.
• Cele i ocena niedopasowane:
  • Małe projekty nie są organizowane w ramach dużego obrazu.
  • W przypadku transformacji cyfrowej nie znamy skali zwrotu ani niezbędnej inwestycji; patrzenie tylko na ROI nie kieruje Cię w przyszłość.
  • Rozwiązania: OKR (Google), księgowość innowacji (Eric Ries), mierzone finansowanie (VC).
• Trzy cyfrowe supermocarstwa:
  • Umiejętność (1) słuchania klientów;
  • Kiedy słuchasz, możesz (2) działać; w przeciwnym razie działasz na niewłaściwych informacjach.
  • Jeśli masz oba, możesz (3) skalować; w przeciwnym razie skalujesz niewłaściwą rzecz.

Will Critchlow: „A co, jeśli Twoje zwycięskie testy CRO spowalniają ruch w sieci wyszukiwania? A może zmiany w SEO niszczą współczynnik konwersji?”

• Ogólne zmartwienie polega na tym, że SEO zepsuje CRO, a nie odwrotnie.
  • CRO zajmuje się dnem lejka (więcej osób przechodzi na sprzedaż).
  • SEO zajmuje się szczytem lejka (dodanie większej liczby osób do lejka).
• Wiele stron CRO nie jest nawet indeksowanych, ale wiele jest – a testy CRO mogą zaszkodzić ruchowi organicznemu. (Widzieliśmy, jak to się dzieje.)
• Eksperyment: SEO i marketerzy niecyfrowi zostali poproszeni o ocenę, która z dwóch stron może mieć wyższą pozycję w rankingu:
  • Nikomu nie udało się osiągnąć 50% trafności prognozy.
  • SEO były tylko nieznacznie lepsze niż te, które nie były SEO.
• Jak więc lepiej przewidywać? Testy SEO (DistiledODN).
• Zmiany, które działają w jednej niszy, mogą nie działać w innej — musimy to przetestować.
  • „Najlepsze praktyki” SEO są specyficzne dla danej witryny/branży.
• UX to czynnik rankingowy (być może):
  • Google szkoli modele uczenia maszynowego tak, aby polubiły te same rzeczy, które lubią ludzie.
  • Ale Google nie jest doskonały – żadna zmiana algorytmu nie pozwala osiągnąć tego celu, ale właśnie to starają się zrobić .
  • Dlatego powinniśmy budować hipotezy SEO na podstawie podstaw UX.
• Ostatecznie musimy – i na tym skorzystamy – przetestować jednocześnie wpływ SEO i CRO. Jesteśmy w tej samej drużynie.

Brennan Dunn: „Jak dostarczać w pełni spersonalizowane doświadczenia na dużą skalę”

• Wiele osób „myśli”, że personalizuje, ale istnieje wiele nieużytecznych personalizacji.
• Rzeczy, w których naprawdę chcę być spersonalizowany: moje zamiary, moje działania, mój poziom wiedzy.
• Dwa podstawowe zadania do segmentacji:
  • Dokonywanie wiadomości bardziej trafnej, bardziej szczegółowej;
  • Korzystanie z segmentacji w celu poprawy raportowania.
• W segmentacji dwie rzeczy, na których mi zależy, to „kto” i „co”: „Jestem [puste] i potrzebuję twojej pomocy z [pustym]”.
• Jak automatycznie segmentować osoby:
  • Intencja/Zachowanie
    1. Jakie są ostatnie 10–20 artykułów, które ktoś przeczytał na naszej stronie?
    2. Oryginalne strony docelowe.
    3. Reklama, którą kliknęli (zwłaszcza w przypadku reklam na Facebooku).
    4. Skierowania.
  • działania
    1. Zakupy.
    2. Magnesy ołowiane.
    3. Webinaria.
  • Ankiety
    1. Wyzwalanie linków: „Na czym obecnie najbardziej się koncentrujesz?”
    2. Ankiety. „Co zamierzasz dzisiaj robić na naszej stronie?”
    3. Hostowane ankiety.
  • Clearbit
• Co zrobić, jeśli nie wiesz, jak segmentować?
  • Gdy ktoś dołączy do kursu e-mailowego lub pobierze lead magnet, zapytaj go, czy nie ma nic przeciwko. (np. „Czego potrzebujesz z tego kursu e-mailowego?”)
• Dzięki personalizacji możemy używać wiadomości niszowych, nie będąc w rzeczywistości firmą niszową.
• Mniej myślenia, większe zaangażowanie = więcej konwersji.
• W ostatecznym rozrachunku personalizacja ma znaczenie.

Chad Sanderson: „Dopasowanie eksperymentów w zakresie rozwoju produktu i marketingu”

• Czasami działy marketingu i inżynierii chcą przeprowadzać równoległe eksperymenty i wpadają w konflikty.
• Osoby bliższe produktowi mają większy wpływ na biznes.
• Różne typy firm: Tech First (Bing, LinkedIn), Druga (Booking.com, Grubhub), Trzecia (Sephora, Target).
• W zależności od rodzaju działalności masz różnice:
  • Optymalizacja. Ta funkcja nie istniałaby bez narzędzia do eksperymentów; projekt eksperymentu może wystąpić poza cyklem sprinterskim.
  • Uprawomocnienie. Ta funkcja istniałaby niezależnie od eksperymentów; projektowanie eksperymentów jest częścią cyklu rozwojowego.
• Wielkie przeprojektowanie Snapchata zostało obalone w 83% w recenzjach użytkowników — przykład katastrofy, której można było uniknąć dzięki procesowi opartemu na walidacji.
• Zabija szybkość strony. Czy optymalizacja obniża współczynniki konwersji o 5% lub więcej? Technologie eksperymentalne po stronie klienta nie zwiększają opóźnień o mniej niż 1000 ms. Każde opóźnienie 100ms powoduje 0,5% spadek RPV.
• Kroki do sukcesu:
  • Zrozum swoją obecną strukturę: optymalizację lub walidację.
  • Dowiedz się, gdzie brakuje Twojego zasięgu. Czy śledzony jest zwrot z inwestycji? Czy produkt jest dostarczany z eksperymentami?
  • Wypełnij lukę między ludźmi i działami — uzyskaj wspólne cele dotyczące wskaźników programu. .
  • Stwórz forum do dzielenia się wynikami i pracy nad wspólnymi projektami (wyniki na globalnym poziomie programu, a nie indywidualne testy).
  • Comiesięczne spotkania w celu spójnego przeglądu wskaźników i rozwiązywania przeciwstawnych sił.

Natasha Wahid: „Jak sprawić, by cała organizacja była podekscytowana eksperymentami”

• Kultura jest czynnikiem udanego eksperymentowania. Weźmy ten scenariusz:
  • Jedna kobieta mistrz optymalizacji zaczyna pozyskiwać pomysły od wszystkich do eksperymentów.
  • Ma mnóstwo pomysłów, ale ponieważ jest show dla jednej kobiety, wpada w śnieg.
  • Po pewnym czasie staje się żartem – miejscem, w którym giną pomysły.
• Jak radzimy sobie lepiej?
  • Inspiruj — iskra. Zmotywuj ludzi do działania.
  • Kształcić — szkolenie. Formalny lub nieformalny.
  • Inform — przekazywanie wiedzy, działanie.
• Główny zespół jest właścicielem programu. Skupiają się na zdobywaniu poparcia kadry kierowniczej i budowaniu rozmachu.
• Dawny. Wysłannik
  • Michelle podkreśliła, czego firmie brakowało, nie optymalizując podstawowych lejków.
  • Zatrudnił głównego inżyniera i projektanta. Sprowadzili także partnera wspierającego z zewnętrznej agencji.
  • Każdy mógł zobaczyć wpływ eksperymentu. Inżynier natychmiast zakodował zwycięską odmianę.
• Dawny. Kwadrat
  • Jeden z zespołów ds. produktów o najwyższej widoczności przeszedł przeprojektowanie, które zakończyło się niepowodzeniem.
  • Prowadzone warsztaty, które skupiały się na zmianie sposobu myślenia ludzi wokół eksperymentowania.
  • Koncentruje się na wspieraniu współpracy, pytając zespoły, czy istnieją spostrzeżenia z innych eksperymentów, które mogą być istotne dla obecnego zespołu.
• Model RACI:
  • R – odpowiedzialny – wykonujący rzeczywistą pracę;
  • A – odpowiedzialny – właściciel projektu;
  • C – konsultant – udzielający informacji o zarządzaniu procesem;
  • Ja – informacja – ludzie, których po prostu trzeba na bieżąco informować.
• Przykład komunikacji RACI:
  • Właściciel: mistrz eksperymentów;
  • Wiadomość: Eksperyment X został uruchomiony;
  • Kanał: powiadomienie o luzie;
  • Publiczność: Zespół inżynierów;
  • Czas: automatycznie po uruchomieniu eksperymentu w narzędziu.

Wniosek

Ten post to 21 półgodzinnych sesji skondensowanych w mniej niż 5000 słów. Jeśli chcesz mieć pełne doświadczenie — w trakcie i poza sesjami konferencyjnymi — po prostu musisz tam być.

Dobre wieści? Nie musisz czekać cały rok. Join us at Digital Elite Camp in Estonia on June 13–15.