Memprediksi Kemenangan Pengujian A/B Menggunakan Pola yang Dapat Diulang

Jika Anda pernah menjalankan tes a/b yang sangat tepercaya dan positif, kemungkinan besar Anda akan mengingatnya dengan kecenderungan untuk mencobanya lagi di masa mendatang – memang seharusnya begitu. Pengujian adalah kerja keras dengan banyak eksperimen gagal atau berakhir tidak signifikan. Tampaknya optimal untuk mencoba dan mengeksploitasi pengetahuan yang ada untuk lebih banyak keberhasilan dan lebih sedikit kegagalan. Dalam latihan kami sendiri, kami mulai melakukan hal itu.

Pada tahun 2017 kami secara sistematis mulai mengkategorikan hasil tes serupa sebagai pola untuk membantu kami memprediksi lebih banyak tes yang menang. Pada tahun 2017 kami menjalankan 51 pengujian a/b yang murni didorong oleh pola dan 71% dari pengujian ini positif pada saat penghentian. Sekarang menjadi lebih jelas bagi kami bahwa pola adalah alat yang ampuh untuk memprediksi hasil tes dan saya ingin berbagi pendekatan kami dengan Anda. Berikut adalah proses yang kami ikuti untuk mengidentifikasi dan menggunakan pola untuk tingkat kemenangan yang lebih tinggi.

Tujuannya: Lebih Baik Dari 50/50 Keacakan

Pertama-tama, jika kita bertujuan untuk meningkatkan tingkat prediksi hasil pengujian a/b, maka kita perlu menyiapkan tongkat pengukur untuk arti sebenarnya dari prediksi yang berhasil. Jawaban paling sederhana untuk ini adalah jawaban biner – yaitu apakah tes yang seharusnya positif atau negatif, akhirnya menjadi positif atau negatif seperti yang diperkirakan.

Dengan kata lain, kami hanya mencoba melakukan lebih baik daripada keacakan. Dengan asumsi kami menjalankan eksperimen yang sepenuhnya acak, kami mungkin berharap bahwa kira-kira setengah dari hasil kami akan berakhir positif dan separuh lainnya akan menjadi negatif. Dari perspektif ini, tujuan awal kami sederhana: untuk menunjukkan kekuatan prediktif, pola kami perlu membantu kami mengalahkan keacakan dan mencapai tingkat menang/kalah yang lebih baik daripada 50/50.

Pola: Elemen Inti Untuk Prediksi

Saya mendefinisikan pola konversi sebagai perubahan UI yang mudah diulang yang memungkinkan kami memprediksi dan mengulangi efek dengan cepat. Dengan adanya pola, kita dapat secara taktis melihat peluang (judul yang lemah, terlalu banyak bidang formulir, foto yang tidak autentik, visibilitas pilihan yang buruk yang tersembunyi dalam pull-down, dll.) dan mengambil tindakan cepat untuk memanfaatkan kemungkinan efeknya. Kekuatan prediksi pola tersebut berasal dari satu asumsi sederhana: semakin banyak perubahan yang diberikan dengan efek yang sama, semakin banyak yang akan dilakukan lagi di masa depan dengan efek yang sama. Oleh karena itu, pola pada akhirnya mendapatkan kekuatan prediksinya dari beberapa hasil pengujian – semakin banyak semakin baik. Elemen pola yang memungkinkan prediksi ini meliputi:

• The Change(s) – satu set properti (satu atau banyak) yang mendefinisikan pola dan cukup abstrak untuk membuatnya dapat diulang. Biasanya perubahan dapat melibatkan penghapusan, penggantian, atau penambahan sesuatu yang baru ke UI. Seringkali perubahan digambarkan dengan bantuan dua tangkapan layar: A (sebelum, atau kontrol) dan B (setelah, atau variasi).
• Hasil Tes – setiap pola memperoleh kekuatan prediksinya dari hasil tes (semakin banyak semakin baik). Pengujian, pada gilirannya, memberi kami dua metrik utama: pengulangan & efek median.
• Derajat Pengulangan – ini adalah ukuran seberapa sering suatu pola telah diuji dengan hasil menang (positif), dikurangi jumlah hasil tes negatif apa pun. Semakin tinggi skor ini (baik positif atau negatif), semakin besar kemungkinan pola tersebut akan berulang kali menang atau kalah dalam eksperimen mendatang. Untuk pola yang tidak memiliki data uji, skor pengulangannya adalah 0 netral.
• Efek Median – efek median memberi tahu kami efek apa yang mungkin kami harapkan dari perubahan serupa pada pengujian di masa mendatang. Ini dihitung dari efek terdalam dari setiap pengujian yang terkait dengan suatu pola (mis: ukuran paling bermakna seperti pendaftaran, prospek, atau penjualan). Semakin banyak tes yang kita miliki untuk pola tertentu, semakin akurat efek median yang seharusnya.

Berikut adalah contoh pola No Coupon Fields dan bagaimana kami mengikat semua elemen ini bersama-sama:

CATATAN TEKNIS: untuk mengimbangi hasil tes dengan tingkat kepercayaan yang berbeda, kami menghubungkan 1 poin pengulangan penuh untuk hasil tes yang sangat signifikan (nilai-p <0,03), poin 0,5 untuk hasil yang mendukung (nilai-p <0,25), dan 0,25 poin untuk hasil yang tidak signifikan (nilai p > 0,25) atau hasil tes tanpa data ukuran sampel yang lengkap.

Pola Baik, Buruk Dan Lebih Baik

Saat pola mengakumulasi hasil tes, mereka dengan cepat menjauh dari netralitas yang tidak bersalah. Pola-pola yang berkinerja lebih positif daripada tidak, memperoleh tingkat pengulangan (dengan kemungkinan lebih tinggi untuk menang lagi). Pola lain mungkin menang dan kalah dengan cara yang sama, tetap mendekati 0 dan mengisyaratkan kemungkinan keberhasilan yang lebih rendah. Akhirnya, pola-pola yang cenderung hilang lebih sering daripada tidak, akan memiliki pengulangan negatif yang menunjukkan bahwa itu bukanlah ide yang bagus.

Pola yang lebih baik, oleh karena itu, dapat ditentukan oleh dua kriteria: pola tersebut mengandung tingkat pengulangan yang tinggi dan efek median yang tinggi.

Menghasilkan Pola Baru

Ide pola bisa datang dari mana saja. Sumber ide pola, bagaimanapun, tidak begitu penting karena semua pola baru dibuat sama (dengan pengulangan netral 0). Sebaliknya, hasil teslah yang memberikan pola dengan kekuatan prediktifnya, menagihnya secara negatif atau positif. Mempertimbangkan hal di atas, berikut adalah beberapa cara kami menghasilkan pola baru:

• Imajinasi, Pena & Kertas – pengalaman dan proses kreatif Anda dapat menjadi sumber ide pola yang menarik. Terkadang kita hanya mengambil selembar kertas dan membuat sketsa ide-ide kita. Kami tidak terlalu khawatir tentang memaksa diri kami untuk datang dengan ide-ide yang sempurna. Kita tahu bahwa betapapun eksplorasi polanya, potensinya pada akhirnya akan muncul saat mereka diuji.
• Pengujian A/B Anda Sendiri – saat Anda selesai menjalankan pengujian a/b, ini adalah kesempatan sempurna untuk menangkap perubahan (atau serangkaian perubahan) sebagai pola. Apa pun efeknya, atau tingkat kepercayaannya, setiap pengujian a/b berisi data berharga yang berpotensi terulang di masa mendatang. Dalam hal ini, Anda dapat mendesain pola baru dan sudah memiliki data awal untuk mendukung atau menentang pola Anda – memberikan keuntungan pada pola Anda.
• Tes A/B Orang Lain – ada tes a/b yang dibagikan perusahaan secara publik dan ini bisa menjadi titik awal lain yang berharga untuk sebuah pola. Memang lebih sulit untuk mempercayai hasil orang lain mengingat adanya bias publikasi (kecenderungan untuk melaporkan positif lebih dari negatif). Di lain waktu, hasil yang dipublikasikan juga tidak memiliki ukuran sampel atau data konversi yang mendetail yang membuatnya lebih sulit untuk menilai kualitasnya. Dalam hal ini, kami mengaitkan skor pengulangan yang lebih rendah (hanya 0,25) untuk mengimbangi kurangnya data yang lengkap.
• Penelitian Pelanggan – penelitian kualitatif apa pun di mana pelanggan atau pengguna nyata mengungkapkan kebutuhan mereka dapat menjadi sumber inspirasi yang berharga untuk ide-ide pola baru. Ini termasuk metode apa pun seperti survei, studi kegunaan, wawancara, rekaman layar, dll.
• Menyalin Situs yang Mengoptimalkan – akhirnya, selalu ada baiknya untuk memperhatikan situs web yang Anda tahu sedang menjalankan eksperimen dan secara aktif mengoptimalkan. Kemungkinannya adalah bahwa perubahan apa pun yang telah mereka terapkan, telah melalui semacam eksperimen dan oleh karena itu mungkin memiliki peluang yang sedikit lebih tinggi untuk berhasil di masa depan.

Menggunakan Pola Untuk Mengoptimalkan Situs Web

LANGKAH 1: Menemukan Peluang

Saat kami mulai mengoptimalkan serangkaian layar menggunakan pola, fokus kami adalah mengidentifikasi sebanyak mungkin peluang pengoptimalan. Kami melakukan ini dengan menentukan serangkaian layar dan metrik untuk ditingkatkan. Pada saat yang sama, kami mengingatkan diri kami sendiri tentang semua pola yang ada untuk menginspirasi diri kami sendiri dengan serangkaian perubahan umum yang luas. Kami mungkin juga mencari jenis pola yang lebih spesifik menurut jenis halaman (mis: pola checkout) atau berdasarkan metrik (mis: pola lead-gen). Tidak masalah dalam urutan mana Anda memulai prosesnya. Yang penting adalah membuat layar, metrik sasaran, dan pola terlihat di depan Anda sehingga Anda melihat dan menangkap peluang – semakin banyak, semakin baik.

Secara praktis kita mungkin menggunakan Adobe Illustrator (perangkat lunak anotasi layar apa pun boleh) untuk membuat daftar tangkapan layar yang relevan dan membubuhi keterangan dengan ide-ide di samping seperti ini:

Jika kita memiliki ide yang belum kita miliki polanya, kita tetap menangkapnya (tanpa referensi data tentunya).

LANGKAH 2: Memprioritaskan Dengan Efek Pengulangan & Median

Setelah kami mencantumkan cukup banyak ide (biasanya 10 hingga 100), kami kemudian menimbangnya untuk melihat mana yang memiliki probabilitas keberhasilan tertinggi dan dampak tertinggi. Untuk melakukan ini, untuk setiap ide yang didasarkan pada suatu pola, kita mencari pengulangan dan efek mediannya dan menuliskannya di samping ide. Dengan melakukan ini, kami secara resmi membuat prediksi menggunakan data nyata, sementara ide prioritas kami mungkin mulai terlihat seperti berikut:

Secara opsional, kami juga dapat menambahkan keyakinan subjektif untuk setiap ide. Jika kita memilih untuk melakukan ini, kita membatasi kepercayaan diri kita pada kisaran antara -3 (keyakinan tertinggi bahwa gagasan itu akan negatif) dan +3 (keyakinan tertinggi bahwa gagasan itu akan positif). Dan jika kami memiliki banyak anggota tim yang mengekspresikan kepercayaan subjektif mereka, kami meratakan nilai-nilai ini untuk memanfaatkan kecerdasan orang banyak.

LANGKAH 3: Merancang Tes & Menjelajahi Variasi

Setelah ide-ide kami diprioritaskan dan kami mulai melihat apa yang paling potensial, kami melanjutkan dengan konsep yang lebih rinci. Melihat sebuah pola dan melihat A dan B kita tidak ingin disesatkan bahwa ini adalah satu-satunya cara menerapkan pola yang diberikan. Untuk setiap A dan B, ada C, D, E dan F di tikungan yang menunggu untuk ditemukan. Di sinilah kita menjadi kreatif dan menghasilkan alternatif visual. Kami bahkan mungkin melihat melalui pengujian sebelumnya untuk memeriksa contoh yang lebih spesifik di mana suatu pola bekerja dan di mana ia gagal.

Tidak semua ide sketsa dipilih untuk diuji, tetapi kami pasti ingin memiliki lebih banyak untuk dipilih. Visual terakhir kami adalah konsep pengujian solid yang berisi serangkaian variasi (1 atau banyak) dengan perubahan yang tepat (1 atau banyak) yang akan diuji, terlihat mirip dengan:

CATATAN: Anda selalu memiliki pilihan untuk menguji sebuah ide atau mengimplementasikannya secara langsung pada tahap ini. Dengan kepercayaan yang cukup (subjektif atau dari tes positif yang cukup), kami menghormati keputusan untuk melewatkan pengujian dan langsung meluncurkan perubahan pada produksi (implementasi). Memanfaatkan pengetahuan sedemikian rupa meskipun berisiko karies, adalah langkah optimasi yang valid (tergantung pada konteks bisnis: sensitivitas statistik, lalu lintas situs, dampak yang diprediksi, tingkat kepercayaan, dll).

LANGKAH 4: Putaran Umpan Balik & Koreksi Data

Saat kami memutuskan untuk menjalankan pengujian berdasarkan pola, ada satu elemen terakhir yang penting untuk menyelesaikan proses – kami memperbarui pola dengan hasil baru. Lebih khusus, baik skor pengulangan menjadi diperbarui (baik positif atau negatif) dan begitu juga efek median berubah menjadi lebih baik atau lebih buruk.

Hal ini terjadi untuk setiap hasil tes yang tidak bergantung pada efek dan tidak bergantung pada derajat signifikansi. Penting untuk diingat dan dipelajari dari hasil apa pun, apa pun hasilnya (kecuali ada masalah pengaturan pengujian teknis yang membatalkan eksperimen). Mekanisme umpan balik inilah yang membuat prediksi masa depan semakin akurat dengan setiap hasil tes baru, yang semakin memisahkan pola yang lebih baik dari yang lebih lemah.

Apakah Pola Bekerja? Hasil Menjanjikan Dari 51 Prediksi Uji A/B

Tetapi bagaimana kinerja pendekatan seperti itu pada proyek nyata? Untuk menilai apakah pola memiliki kekuatan prediksi, pada tahun 2017 kami mulai melacak prediksi kami sendiri di berbagai proyek pengoptimalan. Kami menjalankan dan melacak 51 tes a/b semacam itu yang didorong oleh pola secara ketat dan inilah hasil menarik yang kami temukan.

Dari 51 percobaan yang semuanya diprediksi positif (dengan skor pengulangan positif), 36 dari percobaan ini berakhir positif pada saat penghentian. Ini menempatkan tingkat prediksi pola-pola ini pada 71%. Menggunakan pola dengan cara ini jelas membantu kami menjauh dari tingkat keberhasilan 50/50 yang disarankan oleh keacakan. Oleh karena itu, kami memiliki pandangan yang sangat positif terhadap pola (berdasarkan eksperimen) sebagai cara yang sangat efektif dalam menjalankan pengujian a/b yang lebih unggul sambil meminimalkan upaya secara umum. Hal ini sejalan dengan harapan bisnis klien yang bertujuan untuk hasil dampak tertinggi dengan upaya serendah mungkin (ROI maksimum).

Apakah Lebih Banyak Tes Berulang Menghasilkan Tingkat Prediksi yang Lebih Tinggi?

Ada satu pertanyaan kunci lagi yang dapat kita tanyakan pada diri kita sendiri untuk memeriksa apakah pengulangan adalah prediktor hasil tes yang andal: apakah skor pengulangan yang lebih tinggi mengarah pada prediksi tes yang lebih positif? Dengan kata lain, jika suatu pola berkinerja positif lebih sering, apakah itu berarti pola tersebut memiliki peluang lebih baik untuk berkinerja positif lagi di eksperimen mendatang? Untuk menjawab pertanyaan ini, kami mengatur prediksi kami dengan tiga set skor pengulangan (pengingat: semakin tinggi skor, semakin banyak bukti positif yang kami miliki untuk mendukung suatu pola). Inilah yang kami temukan:

Kami melihat indikasi yang jelas bahwa semakin banyak bukti yang kami miliki yang mendukung suatu pola, semakin besar tingkat prediksi kami. Tingkat prediksi kami meningkat secara linier dengan tingkat pengulangan. Ini adalah temuan kami yang paling menjanjikan dari tahun 2017 untuk terus mengidentifikasi dan mengukur pola konversi dengan cara ini. Ini juga sangat meyakinkan karena menunjukkan bahwa pola konversi dapat digeneralisasikan (dilakukan di berbagai situs web).

Dari temuan ini, kami merasa lebih nyaman untuk menambahkan lapisan makna pada skor pengulangan kami. Kami selalu dapat menyesuaikannya di masa mendatang saat kami mengumpulkan lebih banyak data dan menilai keakuratan prediksi kami, tetapi untuk sekarang inilah yang kami mulai:

• Pengulangan 0 = Dapat Menang atau Kalah
• Pengulangan 0 <0,99 = Mungkin Akan Menang
• Pengulangan 1 < 2,99 = Kemungkinan Akan Menang
• Pengulangan 3 < 4,99 = Sangat Mungkin Akan Menang
• Pengulangan 5 < = Hampir Pasti Menang

Kesimpulan

Menganalisis tes a/b individual saja sangat terbatas. Kami sekarang melihat nilai dari melihat beberapa eksperimen sebagai gantinya. Menggunakan pola seperti yang telah kami uraikan di atas adalah salah satu dari banyak cara yang memungkinkan lompatan ini. Pola bagi kami telah menjadi cara yang ampuh untuk mengingat beberapa eksperimen sebelumnya – penting dalam membuat prediksi yang lebih akurat. Tingkat keberhasilan 71% dari tahun lalu hanyalah permulaan. Saat kita menjalankan dan mengingat lebih banyak eksperimen, pekerjaan kita seharusnya menjadi lebih mudah. Dan menarik probabilitas dari eksperimen sebelumnya pada akhirnya akan memungkinkan kami menjalankan lebih banyak uji coba yang lebih unggul dan berdampak lebih tinggi.

Apa yang berhasil untuk satu situs mungkin tidak selalu berhasil untuk situs lain, seperti yang dikatakan oleh beberapa orang yang skeptis. Tapi apa yang berhasil untuk satu situs, yang lain, dan yang lain, kemungkinan besar akan bekerja lagi di tempat lain – ingat dan manfaatkan ini.