12 ข้อผิดพลาดในการทดสอบ A/B ที่ฉันเห็นตลอดเวลา

เผยแพร่แล้ว: 2021-07-22

การทดสอบ A/B เป็นเรื่องสนุก ด้วยเครื่องมือที่ใช้งานง่ายมากมาย ทุกคนสามารถทำได้และควรทำ อย่างไรก็ตาม มีมากกว่าแค่การตั้งค่าการทดสอบ บริษัทมากมายเสียเวลาและเงินไปเปล่าๆ

ต่อไปนี้คือข้อผิดพลาดในการทดสอบ A/B 12 ข้อที่ฉันเห็นผู้คนทำครั้งแล้วครั้งเล่า

  1. เรียกการทดสอบ A/B ก่อน
  2. ไม่ได้ทำการทดสอบเป็นเวลาทั้งสัปดาห์
  3. ทำการทดสอบ A/B โดยไม่มีทราฟฟิกเพียงพอ (หรือคอนเวอร์ชั่น)
  4. ไม่ใช้การทดสอบสมมติฐาน
  5. ไม่ส่งข้อมูลทดสอบไปยัง Google Analytics
  6. เสียเวลาและการจราจรในการทดสอบที่โง่เขลา
  7. ยอมแพ้หลังจากการทดสอบครั้งแรกล้มเหลว
  8. ไม่เข้าใจผลบวกลวง;
  9. เรียกใช้การทดสอบหลายรายการพร้อมกันบนการรับส่งข้อมูลที่ทับซ้อนกัน
  10. ละเลยผลกำไรเล็กน้อย
  11. ไม่ได้ทำการทดสอบตลอดเวลา
  12. ไม่ตระหนักถึงภัยคุกคามต่อความถูกต้อง

คุณมีความผิดในความผิดพลาดเหล่านี้หรือไม่? อ่านต่อไปเพื่อหา.

1. เรียกการทดสอบ A/B ก่อน

นัยสำคัญทางสถิติเป็นหลักฐานที่ดีที่สุดว่าเวอร์ชัน A ดีกว่าเวอร์ชัน B จริง ๆ หากขนาดกลุ่มตัวอย่างมีขนาดใหญ่พอ นัยสำคัญทางสถิติร้อยละห้าสิบคือการโยนเหรียญ หากคุณกำลังเรียกการทดสอบที่ 50% คุณควรเปลี่ยนอาชีพของคุณ และไม่ใช่ ความเชื่อมั่นทางสถิติ 75% ก็ยังดีไม่พอเช่นกัน

ผู้ทดสอบที่ช่ำชองทุกคนมีประสบการณ์มากมายที่รูปแบบ "การชนะ" ที่ความมั่นใจ 80% จบลงด้วยการแพ้อย่างแย่หลังจากถูกผลักดันให้เข้าสู่ไซต์จริงและมีการเข้าชมมากขึ้น

แล้ว 90% ล่ะ? ที่ดีงามใช่มั้ย? ไม่ ไม่ดีพอ. คุณกำลังทำการทดลองทางวิทยาศาสตร์ ใช่ คุณต้องการให้มันเป็นจริง คุณต้องการให้ 90% ชนะ แต่การได้รับความจริงสำคัญกว่าการประกาศผู้ชนะ

ความจริง > “ชัยชนะ”

ในฐานะนักเพิ่มประสิทธิภาพ งานของคุณคือค้นหาความจริง คุณต้องทิ้งอัตตาของคุณไว้ เป็นมนุษย์ที่จะยึดติดกับสมมติฐานหรือการออกแบบของคุณ และอาจทำร้ายได้เมื่อสมมติฐานที่ดีที่สุดของคุณไม่แตกต่างกันอย่างมีนัยสำคัญ เคยไปที่นั่นทำอย่างนั้น ความจริงเหนือสิ่งอื่นใดหรือทั้งหมดสูญเสียความหมาย

การวางแผนการทดสอบ A/B: วิธีสร้างกระบวนการที่ได้ผล

โดย Jaan Matti-Saul

แผนการทดสอบ A/B ที่แข็งแกร่งจะช่วยให้คุณเพิ่มรายได้และเรียนรู้ข้อมูลเชิงลึกอันมีค่าเกี่ยวกับลูกค้าของคุณ

  • ช่องนี้มีไว้เพื่อวัตถุประสงค์ในการตรวจสอบและไม่ควรเปลี่ยนแปลง

นี่เป็นสถานการณ์ทั่วไป แม้แต่สำหรับบริษัทที่ทดสอบเป็นจำนวนมาก: พวกเขาทำการทดสอบหนึ่งครั้งหลังจากนั้นอีก 12 เดือน ประกาศผู้ชนะจำนวนมาก และเปิดตัว หนึ่งปีต่อมาอัตราการแปลงของไซต์ของพวกเขาเท่ากับตอนที่พวกเขาเริ่มต้น เกิดขึ้นตลอดเวลา

ทำไม? เนื่องจากการทดสอบถูกเรียกเร็วเกินไป และ/หรือขนาดตัวอย่างเล็กเกินไป ต่อไปนี้เป็นคำอธิบายที่ยาวขึ้นว่าเมื่อใดควรหยุดการทดสอบ A/B แต่โดยสรุป คุณต้องมีคุณสมบัติตามเกณฑ์สามข้อก่อนจึงจะสามารถประกาศการทดสอบเสร็จสิ้นได้:

  1. ขนาดตัวอย่างเพียงพอ เรามีข้อมูลเพียงพอสำหรับการโทร คุณต้องคำนวณขนาดตัวอย่างล่วงหน้าด้วยเครื่องคำนวณขนาดตัวอย่างสำหรับการทดสอบ A/B
  2. วงจรการขายหลายรอบ ( 2-4 สัปดาห์) หากคุณหยุดการทดสอบภายในสองสามวัน (แม้จะถึงขนาดตัวอย่างที่ต้องการแล้วก็ตาม) แสดงว่าคุณกำลังใช้ตัวอย่างที่ สะดวก ไม่ใช่ตัวอย่างที่ เป็นตัวแทน
  3. นัยสำคัญทางสถิติอย่างน้อย 95% (ค่า p 0.05 หรือน้อยกว่า) หมายเหตุ: ค่า p ไม่ได้บอกเราถึงความน่าจะเป็นที่ B ดีกว่า A เรียนรู้ทั้งหมดเกี่ยวกับค่า p ที่นี่

นี่เป็นตัวอย่างเก่าที่แสดงให้เห็นถึงประเด็นของฉัน สองวันหลังจากเริ่มการทดสอบ นี่คือผลลัพธ์:

การแปรผันมีประสิทธิภาพต่ำด้วยขนาดตัวอย่างที่เล็กมาก

รูปแบบที่ฉันสร้างสูญเสียไปมาก—มากกว่า 89% (โดยไม่มีข้อผิดพลาดทับซ้อนกัน) เครื่องมือบางอย่างจะเรียกมันแล้วและบอกว่านัยสำคัญทางสถิติคือ 100% ซอฟต์แวร์ที่ฉันใช้บอกว่า Variation 1 มีโอกาส 0% ที่จะเอาชนะการควบคุม ลูกค้าของฉันพร้อมที่จะยกเลิก

อย่างไรก็ตาม เนื่องจากขนาดกลุ่มตัวอย่างมีขนาดเล็กเกินไป (การเข้าชมเพียง 100 ครั้งต่อรูปแบบ) ฉันจึงยืนกราน นี่คือสิ่งที่ผลลัพธ์ดูเหมือน 10 วันต่อมา:

รูปแบบการทดสอบจะกลายเป็นผู้ชนะหลังจากกดปุ่มขนาดตัวอย่าง

ใช่แล้ว รูปแบบที่มีโอกาส "0%" ที่จะเอาชนะการควบคุมนั้นชนะด้วยความมั่นใจ 95%

ระวังเครื่องมือทดสอบ A/B ที่ "เรียกใช้ได้ตั้งแต่เนิ่นๆ" ตรวจสอบหมายเลขเสมอ สิ่งที่เลวร้ายที่สุดที่คุณสามารถทำได้คือมั่นใจในข้อมูลที่ไม่ถูกต้อง คุณจะเสียเงินและอาจเสียเวลาทำงานเป็นเดือนๆ

คุณต้องการขนาดตัวอย่างมากแค่ไหน?

คุณคงไม่อยากสรุปโดยอิงจากกลุ่มตัวอย่างที่มีขนาดเล็ก สนามเบสบอลที่ดีคือการตั้งเป้าให้ มี Conversion อย่างน้อย 350–400 ต่อรูปแบบ

อาจมีน้อยลงในบางสถานการณ์ เช่น เมื่อความแตกต่างระหว่างการควบคุมและการรักษามีมาก แต่ไม่มีตัวเลขมหัศจรรย์ อย่ายึดติดกับตัวเลข นี่คือวิทยาศาสตร์ ไม่ใช่เวทมนตร์

คุณ ต้อง คำนวณขนาดตัวอย่างที่จำเป็นล่วงหน้าโดยใช้เครื่องคำนวณขนาดตัวอย่างเช่นนี้หรือที่คล้ายกัน

จะเกิดอะไรขึ้นหากความเชื่อมั่นยังคงต่ำกว่า 95%?

เมื่อคุณได้ขนาดตัวอย่างที่จำเป็นและทดสอบสำหรับวงจรธุรกิจเต็มรูปแบบแล้ว (หรือสองครั้ง) หมายความว่าไม่มีความแตกต่างอย่างมีนัยสำคัญระหว่างรูปแบบต่างๆ

ตรวจสอบผลการทดสอบระหว่างส่วนต่างๆ เพื่อดูว่าได้รับความสำคัญในส่วนใดส่วนหนึ่งหรือไม่ ข้อมูลเชิงลึกที่ยอดเยี่ยมอยู่ในกลุ่มต่างๆ แต่คุณยังต้องการขนาดตัวอย่างที่เพียงพอ สำหรับแต่ละกลุ่ม

ไม่ว่าในกรณีใด คุณจะต้องปรับปรุงสมมติฐานและทำการทดสอบใหม่

2. ไม่ทำการทดสอบทั้งสัปดาห์

สมมติว่าคุณมีไซต์ที่มีการเข้าชมสูง คุณได้รับความมั่นใจ 98% และการแปลง 350 รายการต่อรูปแบบในสามวัน สอบเสร็จแล้วหรอ? ไม่

เราจำเป็นต้องแยกแยะฤดูกาลและทดสอบเป็นเวลาทั้งสัปดาห์ คุณเริ่มการทดสอบในวันจันทร์หรือไม่ แล้วคุณต้องจบในวันจันทร์ด้วย ทำไม? เนื่องจากอัตราการแปลงของคุณอาจแตกต่างกันมากขึ้นอยู่กับวันในสัปดาห์

หากคุณไม่ทำการทดสอบทีละสัปดาห์เต็ม แสดงว่าคุณกำลังบิดเบือนผลลัพธ์ เรียกใช้รายงาน "Conversion ต่อวันในสัปดาห์" บนไซต์ของคุณเพื่อดูว่ามีความผันผวนมากน้อยเพียงใด

นี่คือตัวอย่าง:

ตัวอย่างอัตราการแปลงตามวันในสัปดาห์

คุณเห็นอะไรที่นี่ วันพฤหัสบดีทำเงินได้มากกว่าวันเสาร์และวันอาทิตย์ถึง 2 เท่า และอัตราการแปลงในวันพฤหัสบดีนั้นดีกว่าวันเสาร์เกือบ 2 เท่า

หากเราไม่ทำการทดสอบเป็นเวลาหลายสัปดาห์ ผลลัพธ์จะไม่ถูกต้อง คุณต้องเรียกใช้การทดสอบครั้งละเจ็ดวัน หากความมั่นใจไม่บรรลุภายในเจ็ดวันแรก ให้ดำเนินการต่อไปอีกเจ็ดวัน ถ้าไม่สำเร็จภายใน 14 วัน ให้รันจนถึงวันที่ 21

แน่นอน คุณต้องทำการทดสอบอย่างน้อยสองสัปดาห์ (ขั้นต่ำส่วนตัวของฉันคือสี่สัปดาห์ เนื่องจากสองสัปดาห์มักจะไม่ถูกต้อง) จากนั้น ใช้กฎเจ็ดวันหากคุณต้องการขยายเวลา

ครั้งเดียวที่คุณสามารถทำลายกฎนี้ได้คือเมื่อข้อมูลในอดีตของคุณบอก—ด้วยความมั่นใจ—ว่าอัตราการแปลงจะเท่ากันทุกวัน แต่ถึงอย่างนั้น ก็ยังดีกว่าที่จะทดสอบครั้งละหนึ่งสัปดาห์เต็ม

ใส่ใจปัจจัยภายนอก

คริสต์มาสเหรอ? การทดสอบที่ชนะของคุณในช่วงวันหยุดอาจไม่เป็นผู้ชนะในเดือนมกราคม หากคุณมีการทดสอบที่ชนะในช่วงเทศกาลช็อปปิ้ง เช่น คริสต์มาส คุณจะต้องทำการทดสอบซ้ำหลังจากสิ้นสุดฤดูกาลซื้อของ

คุณทำโฆษณาทางทีวีเป็นจำนวนมากหรือกำลังดำเนินการแคมเปญขนาดใหญ่อื่นๆ อยู่หรือไม่? นั่นอาจทำให้ผลลัพธ์ของคุณบิดเบือนเช่นกัน คุณต้องรู้ว่าบริษัทของคุณกำลังทำอะไรอยู่ ปัจจัยภายนอกส่งผลต่อผลการทดสอบของคุณอย่างแน่นอน หากมีข้อสงสัย ให้ทำการทดสอบติดตามผล

3. ทำการทดสอบ A/B โดยไม่มีทราฟฟิกเพียงพอ (หรือคอนเวอร์ชั่น)

หากคุณได้ยอดขายหนึ่งหรือสองครั้งต่อเดือนและทำการทดสอบโดยที่ B แปลงค่าได้ดีกว่า A 15% คุณจะรู้ได้อย่างไร ไม่มีอะไรเปลี่ยนแปลง!

ฉันชอบการทดสอบแบบแยกส่วน A/B มากพอๆ กับรุ่นถัดไป แต่นั่นไม่ใช่สิ่งที่คุณควรใช้สำหรับการเพิ่มประสิทธิภาพ Conversion หากคุณมีการเข้าชมเพียงเล็กน้อย เหตุผลก็คือแม้ว่าเวอร์ชัน B จะดีกว่ามาก แต่อาจต้องใช้เวลาหลายเดือนกว่าจะบรรลุนัยสำคัญทางสถิติ

หากการทดสอบของคุณใช้เวลาดำเนินการ 5 เดือน—และไม่ใช่ผู้ชนะ—แสดงว่าคุณเสียเงินเป็นจำนวนมาก คุณควรดำเนินการเปลี่ยนแปลงครั้งใหญ่และรุนแรงแทน เพียงเปลี่ยนไปใช้ B ไม่ต้องทำการทดสอบ เพียงแค่เปลี่ยน—และดูบัญชีธนาคารของคุณ

แนวคิดคือคุณจะต้องใช้ลิฟต์ขนาดใหญ่ เช่น 50% หรือ 100% คุณควรสังเกตเห็นผลกระทบดังกล่าวในบัญชีธนาคารของคุณ (หรือจำนวนลูกค้าเป้าหมายที่เข้ามา) ทันที เวลาคือเงิน. อย่าเสียเวลารอผลการทดสอบที่จะใช้เวลาหลายเดือน

4. ไม่ทดสอบสมมติฐาน

ฉันชอบสปาเก็ตตี้ แต่การทดสอบสปาเก็ตตี้—โยนมันพิงกำแพงเพื่อดูว่าติดไหม ไม่เท่าไร. การทดสอบความคิดแบบสุ่มมีค่าใช้จ่ายมหาศาล คุณกำลังเสียเวลาอันมีค่าและการจราจร ไม่เคยทำอย่างนั้น คุณต้องมีสมมติฐาน สมมติฐานคืออะไร?

สมมติฐาน คือคำแถลงที่เสนอโดยอาศัยหลักฐานที่มีจำกัด ซึ่งสามารถพิสูจน์หรือหักล้างได้ และใช้เป็นจุดเริ่มต้นในการสืบสวนต่อไป

สิ่งนี้ไม่ควรเป็น “สมมติฐานปาเก็ตตี้” เช่นกัน (กล่าวคือ การสร้างคำสั่งแบบสุ่ม) คุณต้องการการวิจัยการแปลงที่เหมาะสมเพื่อค้นหาว่าปัญหาอยู่ที่ใด จากนั้นจึงตั้งสมมติฐานเพื่อเอาชนะมัน

หากคุณทดสอบ A กับ B โดยไม่มีสมมติฐานที่ชัดเจน และ B ชนะ 15% นั่นก็ดี แต่คุณได้เรียนรู้ อะไร ไม่มีอะไร เราต้องการเรียนรู้เกี่ยวกับผู้ชมของเรา ซึ่งช่วยให้เราปรับปรุงทฤษฎีลูกค้าของเราและได้ผลลัพธ์การทดสอบที่ดียิ่งขึ้น

5. ไม่ส่งข้อมูลทดสอบไปยัง Google Analytics

ค่าเฉลี่ยโกหก จำไว้เสมอว่า ถ้า A ชนะ B 10% นั่นไม่ใช่ภาพรวม คุณต้องแบ่งกลุ่มข้อมูลการทดสอบ เครื่องมือทดสอบจำนวนมากมีการแบ่งกลุ่มผลลัพธ์ในตัว แต่ก็ยังไม่ตรงกับสิ่งที่คุณทำได้ใน Google Analytics

ด้วยมิติข้อมูลหรือเหตุการณ์ที่กำหนดเอง คุณสามารถส่งข้อมูลทดสอบของคุณไปยัง Google Analytics และแบ่งกลุ่มได้ตามต้องการ คุณสามารถเรียกใช้กลุ่มขั้นสูงและรายงานที่กำหนดเองได้ มีประโยชน์มาก และเป็นวิธีที่คุณเรียนรู้จากการทดสอบ A/B จริง ๆ (รวมถึงการทดสอบที่แพ้และไม่มีความแตกต่าง)

บรรทัดล่าง: ส่งข้อมูลทดสอบของคุณไปยัง Google Analytics เสมอ และแบ่งส่วนอึออกจากผลลัพธ์ นี่คือโพสต์เกี่ยวกับวิธีการทำ

6. เสียเวลาและการจราจรในการทดสอบโง่ๆ

คุณกำลังทดสอบสีใช่มั้ย หยุด.

ไม่มีสีที่ดีที่สุด มันเกี่ยวกับลำดับชั้นของภาพเสมอ แน่นอนว่า คุณสามารถค้นหาการทดสอบทางออนไลน์ที่ซึ่งบางคนพบว่าได้กำไรจากการทดสอบสี แต่ทั้งหมดนั้นก็ไม่ใช่เกมง่ายๆ อย่าเสียเวลากับการทดสอบแบบง่ายๆ เพียงแค่ดำเนินการ

คุณมีปริมาณการใช้งานไม่เพียงพอที่จะทดสอบ ทุกอย่าง ไม่มีใครทำ ใช้การเข้าชมของคุณกับสิ่งที่มีผลกระทบสูง ทดสอบสมมติฐานที่ขับเคลื่อนด้วยข้อมูล

7. ยอมแพ้หลังจากการทดสอบครั้งแรกล้มเหลว

คุณตั้งค่าการทดสอบ แต่ไม่สามารถผลิตลิฟต์ได้ อืม. ลองทำการทดสอบในหน้าอื่น?

ไม่เร็วนัก! การทดสอบครั้งแรกส่วนใหญ่ล้มเหลว มันเป็นความจริง. ฉันรู้ว่าคุณใจร้อน ฉันก็เหมือนกัน แต่ความจริงก็คือ การทดสอบซ้ำๆ อยู่ที่จุดนั้น คุณทำการทดสอบ เรียนรู้จากมัน และปรับปรุงทฤษฎีและสมมติฐานของลูกค้า ทำการทดสอบติดตามผล เรียนรู้จากมัน และปรับปรุงสมมติฐานของคุณ ทำการทดสอบติดตามผล และอื่นๆ

นี่คือกรณีศึกษาที่ต้องทำการทดสอบ 6 ครั้ง (ในหน้าเดียวกัน) เพื่อให้บรรลุเป้าหมายที่เราพอใจ นั่นคือการทดสอบในชีวิตจริง ผู้ที่อนุมัติงบประมาณการทดสอบ—หัวหน้าของคุณ, ลูกค้าของคุณ—จำเป็นต้องรู้เรื่องนี้

หากความคาดหวังคือการทดสอบครั้งแรกจะทำให้ล้มลงจากสนามเบสบอล เงินจะสูญเปล่า และผู้คนจะถูกไล่ออก มันต้องไม่ใช่แบบนั้น อาจเป็นเงินจำนวนมากสำหรับทุกคนแทน เพียงแค่เรียกใช้การทดสอบซ้ำ นั่นคือที่ที่เงินอยู่

8. ไม่เข้าใจผลบวกลวง

ความสำคัญทางสถิติไม่ใช่สิ่งเดียวที่ต้องใส่ใจ คุณต้องเข้าใจผลบวกลวงด้วย ผู้ทดสอบที่ใจร้อนต้องการข้ามการทดสอบ A/B และไปยังการทดสอบ A/B/C/D/E/F/G/H ใช่ตอนนี้เรากำลังพูดถึง!

หยุดที่นั่นทำไม? Google ทดสอบสีน้ำเงิน 41 เฉด! แต่นั่นไม่ใช่ความคิดที่ดี ยิ่งคุณทดสอบรูปแบบต่างๆ มากเท่าใด โอกาสที่ผลบวกลวงก็จะสูงขึ้นเท่านั้น ในกรณีของสีน้ำเงิน 41 เฉด แม้ที่ระดับความเชื่อมั่น 95% โอกาสที่ผลบวกลวงจะอยู่ที่ 88%

ดูวิดีโอนี้. คุณจะได้เรียนรู้สิ่งหรือสามสิ่ง:

ประเด็นหลัก: อย่าทดสอบรูปแบบต่างๆ มากเกินไปในคราวเดียว ยังไงก็ดีกว่าที่จะทำการทดสอบ A/B แบบง่ายๆ อยู่ดี คุณจะได้ผลลัพธ์เร็วขึ้น และเรียนรู้เร็วขึ้น—ปรับปรุงสมมติฐานของคุณเร็วขึ้น

9. เรียกใช้การทดสอบหลายรายการพร้อมกันในการจราจรที่ทับซ้อนกัน

คุณพบวิธีตัดมุมโดยทำการทดสอบหลายรายการพร้อมกัน: การทดสอบหนึ่งรายการในหน้าผลิตภัณฑ์ การทดสอบหนึ่งรายการในหน้าตะกร้าสินค้า การทดสอบหนึ่งรายการในหน้าแรก (ขณะวัดเป้าหมายเดียวกัน) มันประหยัดเวลาใช่ไหม?

การดำเนินการนี้อาจบิดเบือนผลถ้าคุณไม่ระวัง มันอาจจะดีเว้นแต่:

  • คุณสงสัยว่ามีปฏิสัมพันธ์ที่รุนแรงระหว่างการทดสอบ
  • มีการทับซ้อนกันของการรับส่งข้อมูลระหว่างการทดสอบ

สิ่งต่างๆ จะซับซ้อนขึ้นหากมีการโต้ตอบและการจราจรที่ทับซ้อนกัน

หากคุณต้องการทดสอบรูปแบบใหม่ของหลายๆ รูปแบบในขั้นตอนเดียวกันในคราวเดียว เช่น เรียกใช้การทดสอบทั้งสามขั้นตอนในการชำระเงิน คุณอาจควรใช้การทดสอบหลายหน้าหรือการทดสอบหลายตัวแปรเพื่อวัดการโต้ตอบและแอตทริบิวต์ผลลัพธ์อย่างเหมาะสม .

หากคุณตัดสินใจที่จะเรียกใช้การทดสอบ A/B กับการรับส่งข้อมูลที่ทับซ้อนกัน พึงระลึกว่าการรับส่งข้อมูลควรถูกแบ่งเท่าๆ กันเสมอ หากคุณทดสอบหน้าผลิตภัณฑ์ A กับ B และหน้าชำระเงิน C. กับ D ตรวจสอบให้แน่ใจว่าการเข้าชมจาก B ถูกแบ่ง 50/50 ระหว่าง C และ D (ไม่ใช่ 25/75)

10. ละเลยกำไรเล็กน้อย

การรักษาของคุณเอาชนะการควบคุมได้ 4% “หึ กำไรน้อยเกินไป! ฉันจะไม่รำคาญที่จะใช้มัน” ฉันเคยได้ยินคนพูด

นี่คือสิ่งที่ หากไซต์ของคุณค่อนข้างดี คุณจะไม่ได้รับการยกจำนวนมากตลอดเวลา อันที่จริง ลิฟต์ขนาดใหญ่นั้นหายากมาก หากไซต์ของคุณไร้สาระ การทำการทดสอบที่เพิ่มขึ้น 50% ตลอดเวลานั้นทำได้ง่าย แต่ถึงอย่างนั้นจะหมดลง

การทดสอบที่ชนะส่วนใหญ่จะให้ผลกำไรเล็กน้อย—1%, 5%, 8% บางครั้งการเพิ่มขึ้น 1% อาจหมายถึงรายได้นับล้าน ทุกอย่างขึ้นอยู่กับจำนวนสัมบูรณ์ที่เรากำลังเผชิญอยู่ แต่ประเด็นหลักคือ คุณต้องมองจากมุมมอง 12 เดือน

หนึ่งการทดสอบเป็นเพียงการทดสอบเดียว คุณจะทำการทดสอบมากมาย หากคุณเพิ่มอัตราการแปลง 5% ในแต่ละเดือน นั่นจะเพิ่มขึ้น 80% ในช่วง 12 เดือน นั่นคือดอกเบี้ยทบต้น นั่นเป็นเพียงวิธีการทำงานของคณิตศาสตร์ แปดสิบเปอร์เซ็นต์เป็นจำนวนมาก

ดังนั้นจงรับชัยชนะเล็ก ๆ เหล่านั้นต่อไป ทั้งหมดจะรวมกันในที่สุด

11. ไม่ทำการทดสอบตลอดเวลา

ทุกวันที่ไม่มีการทดสอบเป็นวันที่สูญเปล่า การทดสอบคือการเรียนรู้—การเรียนรู้เกี่ยวกับผู้ชมของคุณ เรียนรู้ว่าอะไรได้ผล และทำไม ข้อมูลเชิงลึกทั้งหมดที่คุณได้รับสามารถใช้กับการตลาดของคุณได้ (เช่น โฆษณา PPC)

คุณไม่รู้ว่าอะไรใช้ได้ผลจนกว่าคุณจะทดสอบ การทดสอบต้องใช้เวลาและปริมาณการใช้งาน (จำนวนมาก) การทดสอบเพียงครั้งเดียวไม่ได้หมายความว่าคุณควรทำการทดสอบขยะ ไม่ได้อย่างแน่นอน. คุณยังคงต้องการการวิจัยที่เหมาะสม สมมติฐานที่ดี และอื่นๆ

แต่อย่าหยุดเพิ่มประสิทธิภาพ

12. ไม่ตระหนักถึงภัยคุกคามต่อความถูกต้อง

เพียงเพราะคุณมีขนาดกลุ่มตัวอย่างที่เหมาะสม ระดับความมั่นใจ และระยะเวลาการทดสอบไม่ได้หมายความว่าผลการทดสอบของคุณถูกต้อง มีภัยคุกคามหลายประการต่อความถูกต้องของการทดสอบของคุณ

เอฟเฟกต์เครื่องมือ

นี่เป็นปัญหาที่พบบ่อยที่สุด เมื่อเครื่องมือทดสอบ (หรือเครื่องมือ) ทำให้เกิดข้อมูลที่มีข้อบกพร่องในการทดสอบ มักเกิดจากการใช้โค้ดที่ไม่ถูกต้องบนไซต์ ซึ่งจะทำให้ผลลัพธ์ทั้งหมดคลาดเคลื่อน

คุณต้องดูสิ่งนี้จริงๆ เมื่อคุณตั้งค่าการทดสอบ ให้สังเกตทุกเป้าหมายและตัวชี้วัดที่บันทึกไว้ หากตัววัดไม่ส่งข้อมูล (เช่น “หยิบใส่ตะกร้า” ให้คลิกข้อมูล) ให้หยุดการทดสอบ ค้นหาและแก้ไขปัญหา แล้วเริ่มต้นใหม่ด้วยการรีเซ็ตข้อมูล

เอฟเฟกต์ประวัติศาสตร์

มีบางอย่างเกิดขึ้นในโลกภายนอกที่ทำให้ข้อมูลมีข้อบกพร่องในการทดสอบ นี่อาจเป็นเรื่องอื้อฉาวเกี่ยวกับธุรกิจของคุณหรือผู้บริหารคนใดคนหนึ่ง อาจเป็นช่วงวันหยุดพิเศษ (คริสต์มาส วันแม่ ฯลฯ) บางทีเรื่องราวของสื่ออาจทำให้ผู้คนมีอคติต่อการเปลี่ยนแปลงในการทดสอบของคุณ อะไรก็ได้ ให้ความสนใจกับสิ่งที่เกิดขึ้นในโลก

ผลการเลือก

สิ่งนี้เกิดขึ้นเมื่อเราถือว่าทราฟฟิกบางส่วนแสดงถึงยอดรวมของทราฟฟิกอย่างไม่ถูกต้อง

ตัวอย่างเช่น คุณส่งการเข้าชมจากการส่งเสริมการขายจากรายชื่ออีเมลของคุณไปยังหน้าที่คุณกำลังทำการทดสอบ ผู้ที่สมัครรับข้อมูลรายการของคุณชอบคุณมากกว่าผู้เยี่ยมชมทั่วไป แต่ตอนนี้ คุณเพิ่มประสิทธิภาพหน้าเว็บเพื่อทำงานกับการเข้าชมที่ภักดีของคุณ โดยคิดว่าหน้าเว็บเหล่านี้เป็นตัวแทนของการเข้าชมทั้งหมด ไม่ค่อยเป็นเช่นนั้น!

เอฟเฟกต์โค้ดเสีย

คุณสร้างการรักษาและผลักดันให้เกิดขึ้นจริง อย่างไรก็ตาม มันไม่ชนะหรือผลในความแตกต่าง สิ่งที่คุณไม่ทราบก็คือการรักษาของคุณแสดงผลได้ไม่ดีในเบราว์เซอร์และ/หรืออุปกรณ์บางตัว

เมื่อใดก็ตามที่คุณสร้างการรักษาใหม่หรือสองครั้ง ตรวจสอบให้แน่ใจว่าคุณได้ทำการทดสอบการประกันคุณภาพเพื่อให้แน่ใจว่าจะแสดงอย่างถูกต้องในเบราว์เซอร์และอุปกรณ์ทั้งหมด มิฉะนั้น คุณกำลังตัดสินรูปแบบของคุณโดยพิจารณาจากข้อมูลที่มีข้อบกพร่อง

บทสรุป

มีเครื่องมือดีๆ มากมายที่ช่วยให้การทดสอบเป็นเรื่องง่าย แต่พวกเขาไม่ได้คิดแทนคุณ สถิติอาจไม่ใช่วิชาโปรดของคุณในวิทยาลัย แต่ถึงเวลาต้องทบทวน

เรียนรู้จากข้อผิดพลาด 12 ข้อนี้ หากคุณสามารถหลีกเลี่ยงได้ คุณจะเริ่มมีความคืบหน้าอย่างแท้จริงในการทดสอบ

เครดิตภาพ