Rekap CXL Live 2019: Takeaways dari Setiap Pembicara

Diterbitkan: 2021-07-22

Sungguh terburu-buru—24 pembicara selama tiga hari di resor yang indah. Tambahkan ke 400 wajah lama dan baru, banyak percakapan, musik live, dan lebih dari beberapa gelas bir. CXL Live adalah sebuah pengalaman.

Ada juga ini: Video pembuka kami yang mengungkapkan semua rahasia pertumbuhan…pertumbuhan:

Jika Anda bertanya-tanya apa yang Anda lewatkan, berikut adalah sorotan dari setiap sesi di CXL Live tahun ini.

Els Aerts: “Seni yang Hilang dalam Mengajukan Pertanyaan”

  • Survei tidak payah, tetapi sebagian besar survei payah. Mereka dapat bekerja jika:
    • Anda mendapatkan pertanyaan penelitian Anda dengan benar.
    • Anda berhenti berfokus pada penyajian "angka" dan menyajikan informasi.
  • Cara mengajukan pertanyaan yang tepat:
    • Jangan tanyakan tentang masa depan (misalnya “Jika kami menambahkan Fitur X, seberapa besar kemungkinan Anda akan membeli Y?); pengguna Anda bukan paranormal.
    • Jangan bertanya tentang hal-hal yang terlalu jauh di masa lalu—ingatan manusia sangat tidak dapat diandalkan.
    • Jangan mengajukan pertanyaan yang mengarah. (Misalnya Jangan tanya seberapa "baik" sesuatu itu; tanyakan seberapa "baik atau buruk," atau cukup "bagaimana" itu.)
  • Pertanyaan bias ke arah negatif dapat memberikan lebih banyak umpan balik (misalnya "Seberapa sulit untuk ...").
  • Di mana dan kapan Anda memberikan survei dapat memengaruhi hasil—jika itu adalah bagian situs tempat pengguna mengalami rasa sakit, itu akan membiaskan respons.
  • Halaman konfirmasi dan terima kasih adalah peluang bagus untuk mengajukan pertanyaan kepada orang-orang. (misalnya Apakah Anda mempertimbangkan pesaing? Jika demikian, karakteristik apa yang kami miliki yang membuat Anda memilih kami daripada mereka?)
  • Saat mengatur wawancara, sebut mereka "obrolan", bukan wawancara—dan perlakukan mereka seperti obrolan; mengantisipasi di mana percakapan bisa pergi dan mendengarkan, mendengarkan, mendengarkan.

Joanna Wiebe: “Menulis Cermin: Cara Menggunakan Suara Pelanggan untuk Menulis Salinan Berkonversi Tinggi”

  • 90% copywriting mendengarkan.
  • Tujuannya adalah untuk menulis salinan di mana orang melihat diri mereka sendiri—diri mereka saat ini dan diri selanjutnya.
  • Validasi untuk salinan: Mungkinkah ini terobosan atau kegagalan? Apakah itu mendorong hal-hal yang cukup untuk menjadi terobosan total? Atau benar-benar mengerikan?
  • Melampaui sumber standar suara data pelanggan ; pilihan yang lebih baik adalah:
    • Wawancara pendiri ("pelanggan" asli);
    • survei halaman terima kasih;
    • pengujian pengguna.com;
    • Panggilan penjualan tambang;
    • Tiket dukungan tambang;
    • Komentar Facebook saya;
    • Tambang ulasan online.
  • Wawancara pendiri dapat menemukan cerita, proposisi nilai, dan ide besarnya.
    • Memiliki wawancara di video dan merekamnya (dengan izin).
    • Transkripsikan wawancara (rev.com).
    • Cetak dan baca transkrip dengan stabilo: Apa yang menonjol? Apa yang berbeda?
  • Panggilan penjualan dan rekaman demo dapat merencanakan urutan komunikasi, hierarki, dan membantu membuat salinan melekat.
    • Dapatkan wawasan tentang aliran bagaimana prospek Anda sebenarnya berpikir.
    • Perhatikan ekspresi mereka saat melihat demo.
    • Lewati ke bagian di mana prospek berbicara.
    • Perhatikan momen-momen “bergaya dokumenter”. (Misalnya Jika Anda memberikan transkrip kepada seseorang, dapatkah mereka memerankannya? Itu momen yang bagus.)
    • Perhatikan frasa seperti "Saya khawatir tentang ..." dan "Bisakah Anda menunjukkan kepada saya ..."
    • Tandai apa yang Anda temukan sehingga Anda dapat menggunakannya dalam salinan Anda (#keberatan #tahap akhir, dll.).

Carrie Bolton: “Bersikap Nyata dengan Pelanggan dan Eksekutif Anda—Cara Benar-Benar Meningkatkan Pengalaman Pelanggan

  • Pengalaman pelanggan adalah persepsi pelanggan tentang interaksi mereka dengan bisnis Anda.
  • Vanguard memutuskan bahwa berfokus pada pengalaman pelanggan akan membantu mereka membedakan dari pesaing mereka:
    • Siapkan eksperimen seputar penyesuaian dan personalisasi pengalaman pelanggan.
    • Ex. Pelanggan online untuk menghindari panggilan—halaman yang dibuat ulang agar lebih ramah eksperimen dan pengurangan tarif panggilan pelanggan yang ditargetkan.
  • Cara membuat kasing eksternal:
    • Dapatkan intelijen kompetitif dari industri Anda atau perusahaan terbaik di kelasnya (misalnya USAA, CIGNA);
    • Penelitian Forrester;
    • Blog pengalaman pelanggan.
  • Cara membuat kasing internal:
    • Riset kuantitatif atau kualitatif dari pelanggan Anda (misalnya analitik digital, riset pasar).
    • "Bicaralah dengan orang-orang yang berbicara dengan orang-orang."
    • Bicaralah dengan orang keuangan Anda: Indikator kinerja apa yang mendapat perhatian?
  • Katakan Jangan Jual.
  • Ketika Anda “menjual”, orang-orang melihatnya langsung .
  • Survei dan umpan balik pelanggan dapat mengungkapkan umpan balik yang jujur ​​dan diperlukan untuk membantu mengetahui apa yang harus “diberitahukan” kepada mereka.

Judah Phillips: “Bagaimana Saya Belajar untuk Berhenti Khawatir tentang Pembelajaran Mesin dan Mencintai AI”

  • Kecerdasan buatan memberi analis kemampuan untuk melihat ke depan saat membuat keputusan—bukan di kaca spion.
  • Saat ini kami sedang memulai AI Pragmatis (mis. Siri, Alexa)
  • AI juga memasuki tempat kerja (misalnya mesin rekomendasi, chatbot, saran otomatis untuk kolaborasi).
  • AI adalah segala sesuatu yang mengambil data historis (data pelatihan) dan belajar dari kinerja masa lalu dari data tersebut; biasanya, ini adalah pembelajaran mesin yang diawasi.
  • Deep Learning adalah ide jaringan saraf. Ini adalah area ekspektasi yang terlalu tinggi.
    • Jaringan saraf convolutional (CNNs) digunakan untuk pengenalan gambar dan video.
    • Jaringan Saraf Berulang baik untuk data deret waktu.
    • Generative Adversarial Networks (GANs) pandai membuat data dan gambar palsu dari data dan gambar lain yang Anda latih.
  • Apa yang harus dilakukan dengan AI:
    • Memprediksi churn;
    • Identifikasi penawaran mana yang akan dikirim ke individu;
    • Mempercepat inovasi;
    • Personalisasi konten;
    • Pemasaran berbasis akun;
    • Atribusi algoritma;
    • Perkiraan peningkatan di masa mendatang;
    • Prediksi kesalahan.
  • Memahami apa yang dilakukan model (belum tentu algoritma yang mendasarinya) dan mengetahui kapan harus menerapkannya dan bagaimana menginterpretasikan hasil adalah keterampilan yang dibutuhkan analis.
  • Pembelajaran mesin otomatis akan membantu kami memecahkan masalah memiliki terlalu banyak data dan tidak cukup waktu:
    • Pembelajaran mesin otomatis memprediksi dalam hitungan menit dengan akurasi tinggi.
    • Secara historis itu mahal. Tidak lagi. AI tanpa kode akan memungkinkan Anda melakukannya hari ini.

Ton Wesseling: “Validasi di Setiap Organisasi”

  • Mengapa pekerjaan CRO kami akan mati: Tim beroperasi pada kecepatan yang berbeda.
    • Tim konversi: siklus eksperimen 6–8 minggu;
    • Tim pemasaran: Persiapan, kampanye, persiapan, kampanye;
    • Tim produk: Sprint 2 minggu.
  • Tim Konversi/Pengoptimalan mungkin menjadi mimpi buruk bagi tim pemasaran dan produk.
  • Tim pengoptimalan memiliki banyak (terlalu banyak) kebanggaan:
    • Mereka memberi tahu tim lain apa yang mereka lakukan salah.
    • Bisa merasa benar sendiri dan terlalu kritis.
    • Tim pengoptimalan harus lebih rendah hati.
  • Mengapa sebenarnya ide yang baik untuk membunuh tim pengoptimalan:
    • Apakah kita mengoptimalkan ember bocor? Tim produk dan pemasaran harus dilibatkan.
    • Istilah "pengoptimalan tingkat konversi" tidak benar-benar menggambarkan apa yang kami lakukan—kami membantu klien mencapai tujuan bisnis mereka.
    • Mengapa kita selalu fokus pada web? Mengoptimalkan email, sosial, dll, juga merupakan pengoptimalan.
  • Pengoptimalan adalah KPI yang ingin Anda pengaruhi.
    • Ini terkadang mencakup klik, perilaku, transaksi per pengguna, dll.
    • Anda harus mengoptimalkan potensi nilai seumur hidup; harus ada KPI universal yang dioptimalkan oleh semua tim.
  • Pengoptimalan adalah tentang efek—mendapatkan lebih banyak hasil.
    • Bagaimana kita melakukan ini? Semua departemen harus bekerja sama untuk menciptakan “pusat validasi keunggulan.”
    • Aktifkan pertumbuhan berbasis bukti di jantung perusahaan—demokratkan penelitian sehingga tim produk tidak perlu khawatir tentang statistik.
    • Prioritas implementasi = Kualitas Bukti x Potensi Efek pada Tujuan Bersama.
  • Jangan menjadi pendorong; menjadi pemungkin.

Tammy Duggan-Herd: “Perangkap Orang yang Tidak Sadar: Bagaimana Penerapan Psikologi yang Salah Merusak Tingkat Konversi Anda”

  • Memahami perilaku manusia itu rumit, bahkan lebih dari itu.
  • Anda dapat merusak konversi, pemasaran, dan merek Anda jika Anda mengikuti prinsip yang salah.
  • Akar masalahnya adalah bagaimana penelitian sampai ke publik:
    • Dimulai dengan seorang peneliti yang berada di bawah tekanan untuk menghasilkan hal-hal yang mendapat daya tarik di media/jurnal akademik.
    • Jurnal ilmiah memiliki tingkat penolakan 70%—sangat sedikit yang berhasil.
    • Ketika sesuatu mencapai publikasi, siaran pers fokus pada promosi, bukan akurasi.
    • Media terus memperluas klaim; blogger memperburuk masalah.
    • Pada akhirnya, kami menggunakan Twitter—20 halaman dikurangi menjadi 160 karakter.
  • Ini adalah permainan telepon—skenario kasus terbaik adalah bahwa informasi yang terdistorsi tidak berpengaruh; skenario terburuk adalah bahwa hal itu menghasilkan efek sebaliknya.
  • Jebakan dari praktisi yang tidak sadar:
    • Penyederhanaan yang berlebihan. Media menyederhanakan hasil karena harus ringkas, menarik; kualifikasi dan nuansa dijatuhkan.
    • Melebih-lebihkan ukuran efek. Signifikansi statistik tidak sama dengan signifikansi praktis— besarnya efek.
    • Terlalu menggeneralisasi. Kita sering mengabaikan batasan studi, yang diperlukan karena sebagian besar studi dilakukan dengan mahasiswa di laboratorium (tidak representatif).
    • Mengisolasi temuan. Media memperlakukan temuan tunggal sebagai definitif; tidak ada satu penelitian pun yang bisa menjelaskannya sendiri; variabel tambahan dapat meniadakan/membalikkan efek.
  • Anda perlu tahu cara menghindari jebakan:
    • Baca studi aslinya. Apa yang sebenarnya ditemukan? Berapa ukuran efeknya? Bagaimana itu dilakukan?
    • Jangan terjebak dalam peretasan.
    • Uji sendiri. Sadarilah bagaimana hal itu bisa menjadi salah / bumerang.

Brian Cugelman: “Psikologi Konsumen, Dopamin, dan Desain Konversi”

  • Mitologi dopamin mengklaim bahwa
    • Dopamin adalah neurotransmitter kesenangan atau kebahagiaan.
    • Imbalan variabel sangat kuat sehingga pengguna tidak dapat menolaknya.
    • Perusahaan seperti Facebook memanipulasi orang dengan dopamin.
  • Jika klaim ini benar:
    • Media sosial akan menjadi kesenangan murni.
    • Kita semua akan menjadi pecandu, terpikat oleh manipulator jahat.
    • Sebagian besar umat manusia akan kekurangan pengendalian diri.
  • Pada kenyataannya, dopamin membuat orang merasa berenergi dan penasaran.
    • Ini memberikan hadiah emosional yang memudar dengan cepat, membuat orang tidak puas.
    • Orang terbiasa dengan pemicu, yang berhenti memicu dopamin.
    • Penghargaan dopamin memperkuat perilaku.
    • Terlalu sedikit dopamin dikaitkan dengan gangguan motorik.
  • Bagaimana kita memicu dopamin audiens kita? Berikan janji atau kejutan digital :
    • Hadiah sambutan virtual;
    • Penawaran cepat kaya;
    • Kotak misteri;
    • Lelang;
    • Undian;
    • Iklan: “Seperti apa bintang anak-anak ini hari ini”;
    • Survei/kuis BuzzFeed, misalnya Anda anjing yang mana?
  • Bagaimana kita menggunakan ini dalam pemasaran digital?
    • Petunjuk visual tentang hadiah dan penghargaan;
    • Hadiah misteri;
    • Kait editorial;
    • Proposisi nilai;
    • Pernyataan manfaat;
    • Petunjuk hadiah apa pun.
  • Otak terbiasa dengan penghargaan lama (misalnya kebutaan spanduk).
  • Bagaimana cara mengatasi pembiasaan?
    • Tawarkan lebih banyak, lebih baik, lebih besar.
    • Gunakan kebaruan.
    • Sertakan kejutan.
    • Tahan cerita lengkapnya.
    • Kurangi frekuensi sosialisasi.
    • Tambahkan hadiah acak.
    • Kemas ulang materi hari ini.
    • Tambahkan inovasi.
    • Gunakan imbalan variabel.
  • Gunakan ketidakpastian untuk keuntungan Anda:
    • Jika Anda memberikan sesuatu dengan pengiriman, gunakan hadiah acak dengan antisipasi yang ditingkatkan.
  • Gunakan manajemen ekspektasi, terus terang, tepati janji Anda, dan Anda akan mendapatkan dopamin yang memang layak Anda dapatkan.
(Sumber Gambar)

Lukas Vermeer: ​​“Demokratisasi Eksperimen Online di Booking.com”

  • Setiap kali seseorang menunjukkan data kepada Anda, pertanyaan pertama Anda adalah “Di mana dan bagaimana data ini diperoleh/dikumpulkan?”
  • Beberapa orang salah memahami validasi berbasis data sebagai batasan kebebasan berkreasi.
  • Di Pemesanan, ada kepercayaan pada validitas data, dan keputusan dapat dilihat oleh semua orang. Hal ini memungkinkan proses pengambilan keputusan individu yang berkelanjutan.
  • “Jamak dari anekdot bukanlah data”—kita membutuhkan bukti untuk membuat keputusan.
  • Hindari permainan tebak-tebakan (mis. “Yang mana dari dua warna tombol yang lebih baik?”):
    • Kita harus melakukan pengujian hipotesis sebagai gantinya, yang mencakup deskripsi yang jauh lebih rinci tentang pemikiran di balik eksperimen.
    • Itu tidak berarti Anda tidak dapat menguji warna tombol tetapi Anda memiliki pemahaman yang lebih baik tentang mengapa Anda melakukannya dan variasi mana yang harus Anda uji.
  • Template Hipotesis: Teori, Validasi, Tujuan.
  • Menantang pemahaman Anda sendiri tentang produk melalui eksperimen sangat penting:
    • Ini membalikkan pemikiran "semua tes harus menang" secara terbalik— "tes 9/10 gagal" (VWO), tetapi belajar tidak pernah gagal.
  • Temukan langkah terkecil untuk menguji asumsi paling berisiko dengan cepat.
(Sumber Gambar)

Ryan Thomas: “Mengoptimalkan Pendaftaran Email”

  • Pengambilan email terkadang dapat bertentangan dengan tujuan utama Anda
    • Ex. Mengoptimalkan pop-up kontes menghasilkan peningkatan pendaftaran email lebih dari 300%, tetapi rasio konversi e-niaga dan AOV turun
    • Cara mengatasinya: ganti kontes dengan penawaran yang mendorong penjualan sekarang (kombinasi penawaran selamat datang dan keluar dari diskon kecil)
    • Peningkatan serupa dalam pendaftaran email ditambah peningkatan rasio konversi transaksi dan pendapatan
  • Mengapa fokus pada pendaftaran email?
    • Lihat datanya: lalu lintas email sering kali berkinerja terbaik; Contoh Jeda Waktu dan Panjang Jalur—dua pertiga mengonversi hari yang sama tetapi kurang dari setengah pada titik kontak pertama
    • Bangun hubungan dengan pelanggan Anda
    • Strategi Pengujian: KPI Independen (tidak mungkin bertentangan dengan pengujian lain); Lalu Lintas Rendah: mungkin dapat menguji di sini bila Anda tidak memiliki cukup konversi makro; Pengujian sebagai pembelajaran: Cobalah pesan dan motivasi
  • Proses ResearchXL
    • Analisis Heuristik
    • Pelacakan Tikus
    • Analisis Web
    • Pengujian Pengguna
    • Survei Kualitatif
    • Analisis Teknis
  • Survei pelanggan
    • Pertanyaan terbuka dan tidak mengarah
    • Cari tahu tentang motivasi, proses pengambilan keputusan, keragu-raguan, frustrasi
  • Wawasan bisa datang dari mana saja
  • Korelasikan titik data untuk memprioritaskan peta jalan Anda (PXL)
  • Contoh lainnya:
    • Mengoptimalkan popup kontes untuk produk yang sering dibeli menghasilkan peningkatan pendaftaran email tanpa memengaruhi metrik e-niaga
    • Menambahkan penawaran selamat datang yang sebelumnya tidak ada sebelum meningkatkan pendaftaran email 95% dan menciptakan peningkatan kecil dalam rasio konversi transaksi
  • Takeaways:
    • Sejajarkan strategi Anda dengan hal-hal yang penting bagi bisnis—tanpa metrik kesombongan.
    • Cobalah berbagai taktik, alat, penawaran, dan desain.
    • Lakukan penelitian Anda!

Nina Bayatti: “Apakah Itu Benar-Benar Pemenang? Data Corong Bawah yang Harus Anda Lacak”

  • Ada banyak metrik yang dapat Anda pantau:
    • Tingkat konversi;
    • Tingkat bouncing;
    • Rasio klik-tayang;
    • Tampilan halaman;
    • Tangkapan timah;
    • Tingkat konversi pembelian.
  • Tapi mereka tidak menceritakan keseluruhan cerita.
  • Untuk mencapai kesimpulan yang meyakinkan, Anda perlu menganalisis data corong bawah.
  • Di ClassPass, mereka melihat rujukan sebagai hal yang penting untuk mendatangkan klien baru, jadi masuk akal untuk memberi insentif pada rujukan.
    • Mereka menguji menawarkan 10 kredit gratis untuk berolahraga dengan seorang teman.
    • Undangan naik 50%; Peningkatan 35% dalam akuisisi rujukan.
    • Kemudian mereka menyadari bahwa mereka telah mengkanibal saluran lain—orang yang mengonversi sebagai rujukan adalah prospek yang sudah diperoleh dari saluran lain.
  • Menyiapkan eksperimen Anda untuk sukses:
    • Tentukan metrik keberhasilan.
    • Pertimbangkan semua langkah corong saat menentukan ukuran sampel (yaitu membuatnya cukup besar untuk analisis dasar corong juga).
    • Identifikasi dan ulangi tuas corong bawah.
    • Insentif bekerja, tetapi mereka mungkin bekerja terlalu baik dan mengubah orang-orang yang tidak benar-benar menyukai layanan/produk atau mencopot saluran lain.
    • Selalu pertimbangkan dampak pengujian kemenangan Anda terhadap pertumbuhan dan biaya Anda.

Eric Allen: “Kalah dalam Ujian Bisa Menjadi Pemenang Juga. Bagaimana Menghargai dan Belajar dari Eksperimen yang Kalah.”

  • Biaya eksperimen—Anda berharap keuntungannya melebihi biayanya.
  • Mengapa kehilangan itu menyakitkan? Kerugian lebih besar dalam pikiran kita daripada keuntungan.
  • Belajar melalui pengetahuan: Pengetahuan itu terbatas; rancang setiap eksperimen sedemikian rupa sehingga Anda dapat memperoleh pembelajaran, bahkan dari kerugian.
  • Kegagalan pengujian desain ulang Ancestry.com:
    • Tes pertama: Belajar bahwa kita terlalu banyak berubah, perlu mengisolasi variabel.
    • Tes kedua: Konsumen tidak memahami perbedaan antara paket dan hanya memilih harga terendah.
    • Tes ketiga: Halaman penawaran terlalu rumit dan konsumen menghabiskan terlalu banyak waktu di halaman.
    • Tes keempat: Terlalu banyak orang yang mengambil paket jangka pendek sekarang.
    • Tes kelima: Ini tidak berhasil. Kembalikan ke aslinya.
  • Belajarlah untuk membingkai ulang kerugian: “ Tes A/B adalah biaya kuliah kami. Butuh uang untuk belajar. ”
  • Dampak Pengujian:
    • Tingkat operasi dasar: $100 juta per tahun;
    • Uji angkat: 10%;
    • Durasi tes: 90 hari (25%);
    • Dampak negatif: $2,5 juta;
    • Total pendapatan: $97,5 juta.
  • Dampak Implementasi tanpa pengujian:
    • Tingkat operasi dasar: $100 juta per tahun;
    • Uji angkat: 10%;
    • Durasi tes: 12 bulan;
    • Dampak negatif: $10 juta;
    • Total pendapatan: $90 juta.
  • Penghematan total dengan pengujian: $7,5 juta.
  • Belajar dari serangkaian ujian dapat mengubah kekalahan menjadi kemenangan.
  • Takeaways:
    • James Lind: Ada biayanya, tetapi juga keuntungannya.
    • Jeff Bezos: Terus jalankan eksperimen.
    • Jay-Z: Kerugian adalah pelajaran.

Stefanie Lambert: “Pembicaraan Nyata: Pelajaran Sulit yang Dipetik Saat Membangun Program Pengoptimalan”

  • Kepekaan terhadap budaya organisasi akan membuat hidup setiap orang lebih mudah.
    • Jika sebuah perusahaan melakukan sesuatu dengan cara yang berbeda, itu mungkin berarti Anda harus menyesuaikan diri.
  • Iblis ada dalam detailnya.
    • Kami perlu meluncurkan kembali tes beberapa kali karena bergerak terlalu cepat.
    • Untuk pengujian sederhana, menghubungkan Google Analytics dengan Google Optimize akan memakan waktu beberapa detik, tetapi karena tidak melakukannya, kami membuang waktu dua minggu.
  • Jika tidak didukung oleh data, mungkin tidak akan berfungsi.
    • Antrian pengujian Anda sebagian besar harus berupa pengujian yang didukung data.
    • Sebuah clothing line benar-benar ingin menunjukkan kualitas pakaian mereka dan membuat gambar mereka lebih besar. Tapi ide itu tidak datang dari data.
    • Saat kami menampilkan gambar yang lebih besar, ada lebih sedikit produk di halaman, yang menurunkan RKT.
  • Data kuantitatif dan kualitatif diperlukan untuk hasil yang luar biasa.
    • Setelah meluncurkan tes, kami kecewa dengan penurunan 20% dalam inisiasi formulir.
    • Formulir baru itu terlihat lebih baik dan telah bekerja dengan baik di tempat lain di situs.
    • Kami memfilter rekaman sesi untuk kasus penggunaan kontrol dan variasi.
    • Dalam variasi baru, formulir cukup membedakan dirinya untuk membuat pengunjung mengenalinya sebagai formulir, jadi lebih banyak pengguna pergi, formulir mulai berkurang.
  • Keingintahuan tidak membunuh kucing itu.
    • Tampil menonjol dengan cukup peduli untuk mengajukan pertanyaan sulit. (Misalnya "Ini sangat bagus, tapi bisakah itu lebih baik?")
    • Ketika saya memulai, saya merasa tidak nyaman mendasarkan keputusan bisnis besar pada data dari sebuah alat.
    • Saya harus belajar statistik untuk mempercayai data.

Lizzie Eardley: “Mengejar Hantu Statistik dalam Eksperimen”

  • Hantu statistik: Saat Anda merasa pengujian Anda memengaruhi metrik Anda, tetapi kenyataannya tidak ada dampaknya. Anda tertipu oleh data
  • Menjalankan 100.000 pengujian A/A: 60% dari pengujian A/A mengukur perbedaan setidaknya 1%.
  • “Tidak signifikan secara statistik” tidak berarti tidak berdampak, hanya saja Anda tidak memiliki cukup bukti untuk menolak hipotesis nol.
  • Empat penyebab hantu statistik:
    • Beberapa perbandingan;
    • Mengintip;
    • Metrik buruk;
    • Hampir signifikan.
  • Beberapa perbandingan:
    • Perlu memperhitungkan ini dengan menyesuaikan nilai-p.
    • Peluang positif palsu berlaku untuk setiap perbandingan.
    • Ex. 1 perbandingan: 5% kemungkinan positif palsu; 8 perbandingan, 34% kemungkinan positif palsu!
    • Dasarkan hipotesis pada satu metrik utama, lalu pilih metrik sekunder.
  • Mengintip:
    • Melihat data dan mengambil tindakan sebelum akhir eksperimen yang telah ditentukan.
    • Ini dapat memiliki efek besar pada tingkat positif palsu.
    • Alasan bagus untuk mengintip: Periksa bug, hentikan bencana, efisiensi.
  • Metrik buruk:
    • Metrik yang baik bermakna, dapat ditafsirkan, sensitif, cocok untuk pengujian.
    • Berarti: Menangkap apa yang ingin Anda ubah.
    • Interpretable: Mudah untuk mengetahui bagaimana perubahan mengubah perilaku pengguna.
    • Sensitif: Dapat mendeteksi perubahan yang lebih kecil lebih cepat.
    • Cocok untuk pengujian: Pengujian normal mengasumsikan independensi dan kesalahan tersebut terdistribusi secara normal.
  • Hampir signifikan:
    • Hantu pencobaan. Orang ingin percaya apa yang mereka harapkan.
    • Tidak ada yang namanya "hampir" signifikan!
(Sumber Gambar)

Emily Robinson: “6 Pedoman untuk Pengujian A/B”

  • Langkah-langkah proses percobaan:
    • Proses. Anda tidak dapat melakukan semuanya, dan hal-hal yang tidak Anda lakukan tetap penting.
    • Membuat.
    • Menganalisa.
    • Pengambilan Keputusan. Bagaimana memutuskan apa yang harus dilakukan selanjutnya?
  • Semakin sedikit data, semakin kuat opininya. Pendapat kita sering salah. Jangan biarkan HiPPO (Pendapat Orang Berbayar Tertinggi) membunuh ide Anda; percobaan sebagai gantinya.
  • Mulailah dengan data historis: Berapa populasi ide pengujian Anda? Berapa tingkat konversi Anda saat ini dan perkiraan peningkatan?
  • Jalankan analisis daya! Penting untuk menentukan titik henti dan menghindari negatif palsu. (Delapan puluh persen berarti ada kemungkinan 80% Anda akan mendeteksi perubahan jika ada.)
  • Jika Anda mencoba beberapa perubahan sekaligus, tidak mungkin untuk mengetahui apa yang tidak berhasil; bekerja pada tes tambahan yang lebih kecil sebagai gantinya.
    • Etsy memulai dengan merilis semua perubahan setelah pengujian selesai.
    • Pindah ke proses yang lebih mendalam untuk menerapkan perubahan pengujian A/B dengan siklus yang lebih kecil.
  • Ide prototipe sebelum merilisnya.
  • Libatkan ilmuwan yang dapat memastikan bahwa Anda melacak metrik yang tepat. Mereka juga dapat membantu Anda dengan perhitungan daya dan ide-ide iterate.
  • Pengambilan keputusan:
    • Apa kompleksitas teknis dan utang yang Anda tambahkan?
    • Apakah itu fitur dasar?
    • Mungkinkah ada dampak negatif yang terlalu kecil untuk dideteksi?
  • Berhati-hatilah saat memulai dengan netral—tidak memiliki strategi yang solid atau data yang cukup untuk mendukung pengambilan keputusan.

Valerie Kroll: “Cara Mempresentasikan Hasil Tes untuk Menginspirasi Tindakan”

  • Saat menyajikan data, pertanyaan kuncinya adalah “Apa yang Anda ingin audiens Anda tinggalkan?”
  • Rumus kerangka:
    • Mengapa kami menguji;
    • Apa yang kami uji;
    • Hasil;
    • Pembelajaran;
    • Apa berikutnya.
  • Slide Anda bukanlah presentasi Anda. Anda adalah presentasi.
  • Nyatakan kasus bisnis Anda:
    • Di mana Anda menguji ini?
    • Siapa penontonnya?
    • Apa yang akan Anda ukur?
  • Nyatakan tesis. (Misalnya, “Apakah permintaan obrolan proposisi nilai akan meningkatkan perolehan prospek?”)
  • Tentukan bagaimana eksperimen diukur:
    • pernyataan hipotesis;
    • KPI Primer;
    • KPI sekunder.
  • Jadikan presentasi Anda interaktif: Jalankan polling—tanyakan kepada orang-orang apa yang menurut mereka akan menang.
  • Mempresentasikan hasil:
    • Dampak terhadap KPI primer;
    • Satu visualisasi KPI primer; orang akan lebih memahami hasil Anda.
    • Segmentasi untuk menunjukkan apa lagi yang Anda temukan.
    • Jauhkan pembelajaran dan tindakan berdampingan. (Ini akan memakan waktu 40–50% dari waktu presentasi Anda.)
  • Jika ada sesuatu yang tidak menambah presentasi Anda, itu akan menghilangkannya (misalnya statistik, informasi teknologi, dll.).
  • Memiliki template yang dapat diprediksi. Orang tahu apa yang diharapkan. Membuat pekerjaan Anda lebih cepat.

Andre Morys: “Kita Semua Akan Mati: Mengapa 'Optimasi' Adalah Percepatan Evolusi”

  • Efek Thatcher (1980, eksperimen langsung): Sulit untuk mengenali perubahan pada foto wajah yang terbalik (Margaret Thatcher).
  • Jika Anda tidak mengetahui polanya, Anda mungkin tidak mengenalinya—hal yang sama berlaku untuk CRO.
  • Anda perlu mengubah perspektif untuk melihat kebenaran di balik berbagai hal.
  • Ex. Mengapa Commerzbank sekarat?
    • Terus terang, pengalamannya menyebalkan.
    • Tapi kenapa? Mereka memiliki desainer, CRO, analis
    • HiPPO yang bodoh—manajemen tidak merasakan sakitnya.
  • “Kebenaran—lebih tepatnya, pemahaman yang akurat tentang realitas—adalah fondasi penting untuk menghasilkan hasil yang baik.”
  • Jangan berbicara tentang model bisnis yang mengganggu; orang-orang yang mengganggu tidak membicarakannya. Mereka terlalu sibuk mengganggu.
  • Pertumbuhan digital tidak datang dari teknologi; ini didasarkan pada pengalaman pelanggan yang luar biasa.
  • Jika tidak ada niat untuk menguji pengalaman pelanggan, Anda tidak akan melihat hasilnya.
  • Pengoptimalan pada dasarnya bersifat tangkas: CRO menghasilkan data baru bagi tim untuk membuktikan bahwa apa pun yang dilakukan organisasi itu baik atau buruk.
  • Pengoptimal yang baik menghasilkan ide yang berpusat pada pelanggan.
  • Keuntungan Amazon adalah mereka terus menghasilkan wawasan baru.
    • Itu adalah gelombang—Tsunami yang lincah. (Anda tidak dapat melihatnya.)
  • Proses Optimalisasi Infinity: Analisis, Prioritaskan, Validasi.
  • Ubah pola pikir manajemen.
    • Manajemen tidak peduli tentang apa yang berubah di situs web.
    • Presentasikan ROI program eksperimen kepada manajemen.
    • Tip: Bertemanlah dengan CFO.
    • Pertemuan meja bundar C-Suite—memungkinkan manajemen untuk mendiskusikan masalah mereka dan kemudian menjadi aspiratif (yaitu menjual program).
    • Manajemen menginginkan hal - hal besar ! Namun, mereka lupa bahwa perubahan yang lebih kecil menghasilkan hasil yang lebih besar (efek gabungan).

John Ekman: “Apa yang Rusak dalam Transformasi Digital (dan Cara Memperbaikinya)

  • “Transformasi digital” bukanlah tujuan yang baik:
    • Tujuannya adalah untuk “mendapatkan produk ke pasar dengan cepat” atau “layanan pelanggan yang baik.”
    • Kami (salah) menetapkan tujuan "transformasi digital" ketika tujuan seharusnya tidak berubah, hanya alat untuk mencapainya.
  • Lima cara transformasi digital:
    • Mendigitalkan produk;
    • Bungkus lapisan layanan digital di sekitar produk;
    • Digitalisasi proses "di belakang layar";
    • Digitalisasi upaya pemasaran, penjualan, dan retensi;
    • Inovasi produk digital baru.
  • Kita harus memilih dan memprioritaskan di antara lima cara transformasi digital; bahkan pemimpin digital mungkin unggul dalam satu atau dua cara tetapi tidak yang lain.
  • Kepemimpinan berpikir itu menghabiskan banyak uang; praktisi merasa seperti mereka tidak memiliki sumber daya.
    • Kenyataannya adalah bahwa itu adalah pertumbuhan tongkat hoki—Anda harus menghabiskan banyak uang sebelum Anda melihat hasil apa pun (dan kemudian hasilnya eksponensial).
    • Mengalokasikan anggaran untuk inisiatif baru sebelum mengalokasikan untuk inisiatif yang sedang berjalan .
  • Sasaran dan evaluasi tidak selaras:
    • Proyek kecil tidak diatur dalam gambaran besar.
    • Dengan transformasi digital, kami tidak mengetahui skala pengembalian atau investasi yang diperlukan; hanya melihat ROI tidak mendorong Anda ke masa depan.
    • Solusi: OKR (Google), akuntansi inovasi (Eric Ries), pendanaan terukur (VC).
  • Tiga kekuatan super digital:
    • Kemampuan untuk (1) mendengarkan pelanggan;
    • Ketika Anda mendengarkan, Anda dapat (2) bertindak; jika tidak, Anda bertindak berdasarkan info yang salah.
    • Jika Anda memiliki keduanya, Anda dapat (3) skala; jika tidak, Anda menskalakan hal yang salah.

Will Critchlow: “Bagaimana Jika Tes CRO Anda yang Menang Mengacaukan Lalu Lintas Pencarian Anda? Atau Perubahan SEO Anda Merusak Tingkat Konversi Anda?”

  • Kekhawatiran umum adalah bahwa SEO akan mengacaukan CRO, bukan sebaliknya.
    • CRO berurusan dengan bagian bawah corong (lebih banyak orang yang mengonversi ke penjualan).
    • SEO berkaitan dengan bagian atas corong (menambahkan lebih banyak orang ke corong).
  • Banyak halaman CRO bahkan tidak diindeks, tetapi banyak yang—dan pengujian CRO dapat merusak lalu lintas organik. (Kami telah melihatnya terjadi.)
  • Eksperimen: SEO dan pemasar non-digital diminta untuk mengevaluasi mana dari dua halaman yang mungkin berperingkat lebih tinggi:
    • Tidak ada yang berhasil mencapai akurasi 50% dalam prediksi.
    • SEO hanya sedikit lebih baik daripada non-SEO.
  • Jadi bagaimana kita membuat prediksi yang lebih baik? Pengujian SEO (DistilasiODN).
  • Perubahan yang berhasil untuk satu ceruk mungkin tidak berhasil untuk yang lain—kita harus mengujinya.
    • “Praktik terbaik” SEO adalah khusus situs/industri.
  • UX adalah faktor peringkat (mungkin):
    • Google melatih model pembelajaran mesin untuk menyukai hal yang sama yang disukai orang.
    • Namun Google tidak sempurna—setiap perubahan algoritme tidak mencapai tujuan itu, tetapi itulah yang mereka coba lakukan .
    • Jadi, kita harus membangun hipotesis SEO dari dasar-dasar UX.
  • Pada akhirnya kita perlu—dan akan mendapat manfaat dari—menguji dampak SEO dan CRO secara bersamaan. Kami berada di tim yang sama.

Brennan Dunn: “Cara Memberikan Pengalaman yang Dipersonalisasi Sepenuhnya Dalam Skala Besar”

  • Banyak orang "berpikir" mereka mempersonalisasikan, tetapi ada banyak personalisasi yang tidak berguna di luar sana.
  • Hal-hal yang sebenarnya ingin saya personalisasikan: niat saya, tindakan saya, tingkat pengetahuan saya.
  • Dua pekerjaan utama untuk segmentasi:
    • Membuat pesan Anda lebih relevan, lebih spesifik;
    • Menggunakan segmentasi untuk meningkatkan pelaporan.
  • Dalam segmentasi, dua hal yang saya pedulikan adalah "siapa" dan "apa": "Saya seorang [kosong] dan saya membutuhkan bantuan Anda dengan [kosong]."
  • Cara mengelompokkan orang secara otomatis:
    • Niat/Perilaku
      1. Apa 10-20 artikel terakhir yang dibaca seseorang di situs kami?
      2. Halaman arahan asli.
      3. Iklan yang mereka klik (terutama untuk Iklan Facebook).
      4. Rujukan.
    • tindakan
      1. Pembelian.
      2. Magnet timah.
      3. Webinar.
    • Survei
      1. Tautan pemicu: “Apa yang paling Anda fokuskan saat ini?”
      2. Survei. “Apa yang ingin Anda lakukan di situs kami hari ini?”
      3. Survei yang dihosting.
    • Clearbit
  • Bagaimana jika Anda tidak tahu bagaimana Anda harus melakukan segmentasi?
    • Ketika seseorang bergabung dengan kursus email atau mengunduh magnet utama, tanyakan langsung kepada mereka. (Misalnya “Apa yang perlu Anda dapatkan dari kursus email ini?”)
  • Dengan personalisasi, kita dapat menggunakan pesan khusus tanpa benar-benar menjadi bisnis khusus.
  • Kurang berpikir, lebih banyak keterlibatan = lebih banyak konversi.
  • Pada akhirnya, personalisasi adalah relevansi.
(Sumber Gambar)

Chad Sanderson: “Menyelaraskan Eksperimen di Seluruh Pengembangan Produk dan Pemasaran”

  • Terkadang departemen pemasaran dan teknik ingin melakukan eksperimen paralel dan mengalami konflik.
  • Orang-orang yang lebih dekat dengan produk memiliki lebih banyak daya tarik dalam bisnis.
  • Berbagai jenis perusahaan: Tech First (Bing, LinkedIn), Second (Booking.com, Grubhub), Third (Sephora, Target).
  • Tergantung pada jenis bisnis, Anda memiliki perbedaan:
    • Optimasi. Fitur tidak akan ada tanpa alat eksperimen; desain eksperimen dapat terjadi di luar siklus sprint.
    • Validasi. Fitur tersebut akan tetap ada terlepas dari eksperimen; desain eksperimen merupakan bagian dari siklus pengembangan.
  • Desain ulang besar Snapchat dihancurkan dalam 83% dalam ulasan pengguna — contoh bencana yang dapat dihindari oleh proses berbasis validasi.
  • Kecepatan Halaman Membunuh. Apakah pengoptimalan membunuh tingkat konversi sebesar 5% atau lebih? Teknologi eksperimen sisi klien gagal meningkatkan latensi kurang dari 1000 md. Setiap latensi 100 md menyebabkan penurunan RPV sebesar 0,5%.
  • Langkah-langkah menuju sukses:
    • Pahami struktur Anda saat ini: pengoptimalan atau validasi.
    • Cari tahu di mana cakupan Anda kurang. Apakah ROI dilacak? Apakah produk dikirim dengan eksperimen?
    • Menjembatani kesenjangan antar orang, departemen—mendapatkan tujuan bersama untuk metrik program.
    • Membentuk forum untuk berbagi hasil dan mengerjakan proyek bersama (hasil di tingkat program global, bukan tes individual).
    • Rapat bulanan untuk meninjau metrik secara konsisten dan memecahkan kekuatan yang berlawanan.

Natasha Wahid: “Bagaimana Membuat Seluruh Organisasi Anda Terpesona Tentang Eksperimen”

  • Budaya adalah faktor eksperimen yang berhasil. Ambil skenario ini:
    • Juara pengoptimalan satu wanita mulai mencari ide dari semua orang untuk eksperimen.
    • Dia mendapat banyak ide, tetapi karena dia adalah pertunjukan satu wanita, dia mendapat salju di bawah.
    • Setelah beberapa waktu, itu menjadi lelucon—tempat di mana ide-ide mati.
  • Bagaimana kita melakukannya dengan lebih baik?
    • Inspirasi—percikan. Membuat orang termotivasi untuk bertindak.
    • Didik—pelatihan. Formal atau informal.
    • Menginformasikan—mengkomunikasikan pengetahuan, tindakan.
  • Tim inti memiliki program. Mereka fokus untuk mendapatkan dukungan eksekutif dan membangun momentum.
  • Ex. Utusan
    • Michelle menyoroti kekurangan perusahaan dengan tidak mengoptimalkan corong inti mereka.
    • Merekrut seorang insinyur utama dan seorang desainer. Mereka juga mendatangkan mitra pendukung dari lembaga luar.
    • Semua orang bisa melihat dampak dari eksperimen tersebut. Insinyur itu langsung mengkodekan variasi pemenang.
  • Ex. Kotak
    • Salah satu tim produk visibilitas tertinggi telah melalui desain ulang yang mabuk.
    • Menyelenggarakan lokakarya yang berfokus pada perubahan pola pikir masyarakat seputar eksperimen.
    • Berfokus pada pengembangan kolaborasi, menanyakan tim apakah ada wawasan dari eksperimen lain yang mungkin relevan untuk tim saat ini.
  • Model RAC:
    • R – bertanggung jawab – melakukan pekerjaan yang sebenarnya;
    • A – akuntabel – pemilik proyek;
    • C – konsultan – memberikan informasi tentang pengelolaan proses;
    • Saya – informasi – orang yang hanya perlu diberi informasi.
  • Contoh untuk komunikasi RACI:
    • Pemilik: Juara eksperimen;
    • Pesan: Eksperimen X telah diluncurkan;
    • Saluran: Notifikasi kendur;
    • Audiens: Tim teknik;
    • Waktu: Secara otomatis saat eksperimen diluncurkan di alat.

Kesimpulan

(Sumber Gambar)

Posting ini adalah 21 sesi setengah jam yang diringkas menjadi kurang dari 5.000 kata. Jika Anda menginginkan pengalaman penuh—di dalam dan di luar sesi konferensi—Anda hanya perlu berada di sana.

Berita bagus? Anda tidak perlu menunggu setahun penuh. Join us at Digital Elite Camp in Estonia on June 13–15.