12 أخطاء في اختبار A / B أرى طوال الوقت

اختبار A / B ممتع. مع العديد من الأدوات سهلة الاستخدام ، يمكن لأي شخص - وينبغي - القيام بذلك. ومع ذلك ، هناك ما هو أكثر من مجرد إعداد اختبار. العديد من الشركات تهدر وقتها وأموالها.

فيما يلي أخطاء اختبار A / B 12 التي أرى أن الأشخاص يرتكبونها مرارًا وتكرارًا.

1. استدعاء اختبارات A / B مبكرًا ؛
2. عدم إجراء الاختبارات لأسابيع كاملة ؛
3. إجراء اختبارات A / B بدون حركة مرور كافية (أو تحويلات) ؛
4. عدم استناد الاختبارات إلى فرضية ؛
5. عدم إرسال بيانات الاختبار إلى Google Analytics ؛
6. إضاعة الوقت والمرور في اختبارات غبية ؛
7. الاستسلام بعد فشل الاختبار الأول ؛
8. عدم فهم الإيجابيات الكاذبة ؛
9. إجراء اختبارات متعددة في نفس الوقت على تداخل حركة المرور ؛
10. تجاهل المكاسب الصغيرة
11. عدم إجراء الاختبارات طوال الوقت ؛
12. عدم إدراك تهديدات الصلاحية.

هل أنت مذنب بارتكاب هذه الأخطاء؟ تابع القراءة لمعرفة ذلك.

1. استدعاء اختبارات A / B مبكرًا

الدلالة الإحصائية هي أفضل دليل على أن الإصدار "أ" هو في الواقع أفضل من الإصدار "ب" - إذا كان حجم العينة كبيرًا بدرجة كافية. خمسون بالمائة دلالة إحصائية هي رمي عملة معدنية. إذا كنت تطلب الاختبارات بنسبة 50٪ ، فيجب عليك تغيير مهنتك. ولا ، الثقة الإحصائية بنسبة 75٪ ليست جيدة بما فيه الكفاية أيضًا.

يتمتع أي مختبِر متمرس بالكثير من التجارب التي ينتهي فيها الاختلاف "الفائز" بثقة 80٪ بخسارة سيئة بعد دفعه مباشرةً إلى موقع ما وتعرضه لمزيد من الزيارات.

ماذا عن 90٪؟ هذا جيد جدًا ، أليس كذلك؟ لا. ليس جيدا بما فيه الكفاية. أنت تجري تجربة علمية. نعم ، تريدها أن تكون صحيحة. تريد أن يفوز 90٪ ، لكن الحصول على الحقيقة أهم من إعلان الفائز.

الحقيقة> "الفوز"

بصفتك مُحسِّنًا ، فإن مهمتك هي اكتشاف الحقيقة. عليك أن تضع نفسك جانبا. من الطبيعي أن تلتصق بفرضيتك أو أسلوبك في التصميم ، ويمكن أن تتأذى عندما تفشل أفضل فرضياتك في أن تكون مختلفة بشكل كبير. ذهبت هناك وقمت بذلك. الحقيقة قبل كل شيء ، أو أنها تفقد معناها.

تخطيط اختبار أ / ب: كيفية بناء عملية ناجحة

بقلم جان ماتي شاول

ستسمح لك خطة اختبار A / B القوية بزيادة أرباحك ومعرفة رؤى قيمة عن عملائك.

• *
• *
  • أوافق على تلقي رسائل البريد الإلكتروني.
• اسم
  هذا الحقل لأغراض التحقق ويجب تركه بدون تغيير.

احصل عليها الآن

إليك سيناريو شائع ، حتى بالنسبة للشركات التي تختبر الكثير: يقومون بإجراء اختبار تلو الآخر لمدة 12 شهرًا ، ويعلنون عن مجموعة من الفائزين ، ويطرحونها. بعد مرور عام ، كان معدل التحويل لموقعهم هو نفسه الذي كان عليه عندما بدأوا. يحدث كل الوقت اللعين.

لماذا ا؟ لأن الاختبارات تسمى مبكرًا جدًا و / أو أن أحجام العينات صغيرة جدًا. فيما يلي شرح أطول لوقت إيقاف اختبار A / B ، ولكن باختصار ، تحتاج إلى تلبية ثلاثة معايير قبل أن تتمكن من إعلان الاختبار:

1. حجم العينة الكافي. لدينا بيانات كافية لإجراء مكالمة. تحتاج إلى حساب حجم العينة مسبقًا باستخدام حاسبة حجم عينة اختبار A / B.
2. دورات بيع متعددة (2 - 4 أسابيع). إذا أوقفت الاختبار في غضون أيام قليلة (حتى بعد الوصول إلى حجم العينة المطلوب) ، فأنت تأخذ عينة مناسبة ، وليست عينة تمثيلية .
3. دلالة إحصائية لا تقل عن 95٪ (قيمة الاحتمالية 0.05 أو أقل) . ملاحظة: لا تخبرنا القيمة p باحتمالية أن تكون B أفضل من A. تعرف على كل شيء عن قيم p هنا.

هذا مثال قديم لتوضيح وجهة نظري. بعد يومين من بدء الاختبار ، كانت هذه النتائج:

كان التباين الذي أنشأته يخسر بشكل سيئ - بأكثر من 89٪ (مع عدم وجود تداخل في هامش الخطأ). قد تسميها بعض الأدوات بالفعل وتقول إن الأهمية الإحصائية كانت 100٪. قال البرنامج الذي استخدمته أن Variation 1 لديه فرصة 0٪ للتغلب على السيطرة. كان عميلي جاهزًا للاتصال به.

ومع ذلك ، نظرًا لأن حجم العينة كان صغيرًا جدًا (ما يزيد قليلاً عن 100 زيارة لكل شكل) ، فقد أصررت. هذا ما بدت عليه النتائج بعد 10 أيام:

هذا صحيح ، التباين الذي حظي بفرصة "0٪" بفوزه على السيطرة كان يفوز الآن بثقة 95٪.

احترس من أدوات اختبار A / B التي "أطلق عليها مبكرًا". دائما تحقق من الأرقام مرتين. أسوأ شيء يمكنك القيام به هو الثقة في البيانات غير الدقيقة. ستخسر المال وقد تضيع شهورًا من العمل.

ما هو حجم العينة التي تحتاجها؟

أنت لا تريد التوصل إلى استنتاجات بناءً على حجم عينة صغير. الهدف الجيد هو أن تستهدف ما لا يقل عن 350 إلى 400 تحويل لكل شكل .

يمكن أن يكون أقل في ظروف معينة - مثل عندما يكون التباين بين التحكم والعلاج كبيرًا جدًا - ولكن الأرقام السحرية غير موجودة. لا تتعثر مع رقم. هذا علم وليس سحر.

يجب عليك حساب حجم العينة الضروري مسبقًا باستخدام حاسبات حجم العينة مثل هذه أو ما شابهها.

ماذا لو كانت الثقة لا تزال أقل من 95٪؟

بمجرد الوصول إلى حجم العينة المطلوب واختبارها لدورة عمل كاملة (أو اثنتين) ، فهذا يعني أنه لا يوجد فرق كبير بين الاختلافات.

تحقق من نتائج الاختبار عبر الأقسام لمعرفة ما إذا كانت الأهمية قد تحققت في شريحة معينة. تكمن الرؤى الرائعة في الشرائح ، لكنك تحتاج أيضًا إلى حجم عينة كافٍ لكل شريحة.

في أي حال ، ستحتاج إلى تحسين فرضيتك وإجراء اختبار جديد.

2. عدم إجراء الاختبارات لأسابيع كاملة

لنفترض أن لديك موقعًا ذا حركة مرور عالية. يمكنك تحقيق 98٪ ثقة و 350 تحويلاً لكل اختلاف في ثلاثة أيام. هل تم الاختبار؟ لا.

نحتاج إلى استبعاد الموسمية والاختبار لأسابيع كاملة. هل بدأت الاختبار يوم الاثنين؟ ثم تحتاج إلى إنهائه يوم الاثنين أيضًا. لماذا ا؟ لأن معدل التحويل الخاص بك يمكن أن يختلف اختلافًا كبيرًا حسب يوم الأسبوع.

إذا لم تختبر أسبوعًا كاملاً في كل مرة ، فأنت تحرف نتائجك. قم بتشغيل تقرير "التحويلات لكل يوم من الأسبوع" على موقعك لمعرفة مدى التقلبات الموجودة.

هذا مثال:

ماذا ترى هنا؟ تجني أيام الخميس أموالًا أكثر بمرتين من أيام السبت والأحد ، ومعدل التحويل في أيام الخميس أفضل مرتين تقريبًا من يوم السبت.

إذا لم نختبر لأسابيع كاملة ، فستكون النتائج غير دقيقة. يجب عليك إجراء الاختبارات لمدة سبعة أيام في المرة الواحدة. إذا لم تتحقق الثقة خلال الأيام السبعة الأولى ، فقم بتشغيلها سبعة أيام أخرى. إذا لم يتم تحقيقه خلال 14 يومًا ، فقم بتشغيله حتى اليوم 21.

بالطبع ، أنت بحاجة إلى إجراء الاختبارات لمدة لا تقل عن أسبوعين على أي حال. (الحد الأدنى الشخصي هو أربعة أسابيع ، لأن الأسبوعين غالبًا ما يكونان غير دقيقين). ثم ، قم بتطبيق قاعدة الأيام السبعة إذا كنت بحاجة إلى تمديدها.

المرة الوحيدة التي يمكنك فيها كسر هذه القاعدة هي عندما تقول بياناتك السابقة - بكل ثقة - أن معدل التحويل هو نفسه كل يوم. ولكن ، حتى مع ذلك ، من الأفضل اختبار أسبوع كامل في كل مرة.

انتبه إلى العوامل الخارجية

هل هو عيد الميلاد؟ قد لا يكون اختبارك الفائز خلال العطلات هو الفائز في يناير. إذا كانت لديك اختبارات تفوز بها خلال مواسم التسوق مثل عيد الميلاد ، فأنت بالتأكيد تريد إجراء اختبارات متكررة بعد انتهاء موسم التسوق.

هل تقوم بالكثير من الإعلانات التلفزيونية أو تدير حملات ضخمة أخرى؟ قد يؤدي ذلك إلى تحريف نتائجك أيضًا. يجب أن تكون على دراية بما تفعله شركتك. تؤثر العوامل الخارجية بالتأكيد على نتائج الاختبار. إذا كنت في شك ، قم بإجراء اختبار متابعة.

3. إجراء اختبارات A / B بدون زيارات كافية (أو تحويلات)

إذا حصلت على عملية بيع واحدة أو اثنتين شهريًا وقمت بإجراء اختبار حيث يحول B بنسبة 15٪ أفضل من A ، كيف تعرف ذلك؟ لا شيء يتغير!

أحب اختبار تقسيم A / B بقدر ما أحب الرجل التالي ، لكنه ليس شيئًا يجب عليك استخدامه لتحسين التحويل إذا كان لديك عدد قليل جدًا من الزيارات. والسبب هو أنه حتى لو كان الإصدار B أفضل بكثير ، فقد يستغرق الأمر شهورًا لتحقيق دلالة إحصائية.

إذا استغرق الاختبار 5 أشهر - ولم يكن فائزًا - فقد أهدرت الكثير من المال. بدلاً من ذلك ، يجب أن تذهب لإجراء تغييرات جذرية هائلة. ما عليك سوى التبديل إلى B. بدون إجراء اختبار ، ما عليك سوى التبديل — وراقب حسابك المصرفي.

الفكرة هنا هي أنك ستجري مصاعد ضخمة ، مثل 50٪ أو 100٪. يجب أن تلاحظ هذا النوع من التأثير على حسابك المصرفي (أو في عدد العملاء المتوقعين الوافدين) على الفور. الوقت قيم. لا تضيعوا الأمر في انتظار نتيجة اختبار ستستغرق شهورًا.

4. عدم بناء الاختبارات على فرضية

انا احب المعكرونة. لكن اختبار السباغيتي - رميها على الحائط لمعرفة ما إذا كانت ستلتصق؟ ليس كثيرا. يأتي اختبار الأفكار العشوائية بتكلفة ضخمة. أنت تهدر وقتًا ثمينًا وحركة المرور. لا تفعل ذلك ابدا. يجب أن يكون لديك فرضية. ما هي الفرضية؟

الفرضية هي بيان مقترح يتم إجراؤه على أساس أدلة محدودة يمكن إثباتها أو دحضها وتستخدم كنقطة انطلاق لمزيد من التحقيق.

لا ينبغي أن تكون هذه "فرضية معكرونة" أيضًا (أي صياغة بيان عشوائي). أنت بحاجة إلى بحث تحويل مناسب لاكتشاف مكان المشاكل ، ثم الخروج بفرضية للتغلب عليها.

إذا قمت باختبار "أ" مقابل "ب" بدون فرضية واضحة ، وربح "ب" بنسبة 15٪ ، فهذا جيد ، ولكن ما الذي تعلمته ؟ لا شيئ. نريد التعرف على جمهورنا. يساعدنا ذلك على تحسين نظرية عملائنا والتوصل إلى اختبارات أفضل.

5. عدم إرسال بيانات الاختبار إلى Google Analytics

المتوسطات تكمن. دائما تذكر هذا. إذا فاز A على B بنسبة 10٪ ، فهذه ليست الصورة الكاملة. تحتاج إلى تقسيم بيانات الاختبار. تحتوي العديد من أدوات الاختبار على تصنيف مدمج للنتائج ، لكنها لا تزال غير مطابقة لما يمكنك القيام به في Google Analytics.

باستخدام الأبعاد أو الأحداث المخصصة ، يمكنك إرسال بيانات الاختبار الخاصة بك إلى Google Analytics وتقسيمها بالطريقة التي تريدها. يمكنك تشغيل الشرائح المتقدمة والتقارير المخصصة عليه. إنه مفيد للغاية ، وهو كيف تتعلم بالفعل من اختبارات A / B (بما في ذلك اختبارات الخسارة وعدم وجود فرق).

الخلاصة: قم دائمًا بإرسال بيانات الاختبار الخاصة بك إلى Google Analytics. وقسم الهراء من النتائج. إليك منشور حول كيفية القيام بذلك.

6. إضاعة الوقت والمرور في اختبارات غبية

إذن أنت تختبر الألوان ، أليس كذلك؟ قف.

لا يوجد أفضل لون. الأمر دائمًا يتعلق بالتسلسل الهرمي البصري. بالتأكيد ، يمكنك العثور على اختبارات عبر الإنترنت حيث وجد شخص ما مكاسب من خلال اختبار الألوان ، لكنهم جميعًا لا يحتاجون إلى تفكير. لا تضيع الوقت في اختبار عدم التفكير ؛ فقط نفذ.

ليس لديك حركة مرور كافية لاختبار كل شيء. لا أحد يفعل. استخدم حركة المرور الخاصة بك على الأشياء عالية التأثير. اختبار الفرضيات المبنية على البيانات.

7. الاستسلام بعد فشل الاختبار الأول

قمت بإعداد اختبار ، ولكنه فشل في إنتاج المصعد. اوه حسنا. دعنا نحاول إجراء الاختبارات على صفحة أخرى؟

ليس بهذه السرعة! تفشل معظم الاختبارات الأولى. انها حقيقة. أعلم أنك غير صبور ، وأنا كذلك ، لكن الحقيقة هي أن الاختبار التكراري هو مكانه. أنت تجري اختبارًا وتتعلم منه وتحسن نظرية العميل وفرضياته. قم بإجراء اختبار متابعة ، وتعلم منه ، وقم بتحسين فرضياتك. قم بإجراء اختبار متابعة ، وما إلى ذلك.

إليك دراسة حالة حيث استغرق الأمر ستة اختبارات (على نفس الصفحة) لتحقيق المصعد الذي كنا سعداء به. هذا ما يشبه اختبار الحياة الواقعية. يحتاج الأشخاص الذين يوافقون على اختبار الميزانيات - رؤسائك وعملائك - إلى معرفة ذلك.

إذا كان التوقع هو أن الاختبار الأول سيخرجها من الملعب ، فسيُهدر المال ، وسيُطرد الناس. لا يجب أن يكون الأمر كذلك. يمكن أن يكون الكثير من المال للجميع بدلاً من ذلك. فقط قم بإجراء اختبارات متكررة. هذا هو المكان الذي يوجد فيه المال.

8. عدم فهم الإيجابيات الكاذبة

الأهمية الإحصائية ليست الشيء الوحيد الذي يجب الانتباه إليه. تحتاج إلى فهم الإيجابيات الخاطئة أيضًا. يريد المختبرين الذين نفد صبرهم تخطي اختبار A / B والانتقال إلى اختبار A / B / C / D / E / F / G / H. نعم ، نحن نتحدث الآن!

لماذا تتوقف عند هذا الحد؟ اختبرت Google 41 درجة من درجات اللون الأزرق! لكن هذه ليست فكرة جيدة. كلما زاد عدد الاختلافات التي تختبرها ، زادت فرصة الحصول على نتيجة إيجابية خاطئة. في حالة وجود 41 درجة من اللون الأزرق ، حتى عند مستوى ثقة بنسبة 95٪ ، فإن فرصة الحصول على نتيجة إيجابية خاطئة هي 88٪.

شاهد هذا الفيديو. ستتعلم شيئًا أو ثلاثة:

الخلاصة الرئيسية: لا تختبر الكثير من الاختلافات في وقت واحد. من الأفضل إجراء اختبار A / B بسيط على أي حال. ستحصل على نتائج أسرع ، وستتعلم بشكل أسرع - تحسين فرضيتك في وقت أقرب.

9. إجراء اختبارات متعددة في نفس الوقت على تداخل حركة المرور

لقد وجدت طريقة للتخلص من الزوايا من خلال إجراء اختبارات متعددة في نفس الوقت: واحد على صفحة المنتج ، وآخر على صفحة عربة التسوق ، وآخر على الصفحة الرئيسية (أثناء قياس نفس الهدف). يوفر الوقت ، أليس كذلك؟

قد يؤدي هذا إلى تحريف النتائج إذا لم تكن حريصًا. ربما لا بأس إلا إذا:

• كنت تشك في وجود تفاعلات قوية بين الاختبارات.
• هناك تداخل كبير في حركة المرور بين الاختبارات.

تصبح الأمور أكثر تعقيدًا إذا كان من المحتمل وجود تفاعلات وتداخل في حركة المرور.

إذا كنت ترغب في اختبار إصدار جديد من عدة تخطيطات في نفس التدفق في وقت واحد - على سبيل المثال ، تشغيل الاختبارات في جميع خطوات الخروج الثلاثة - فقد يكون من الأفضل لك استخدام تجارب متعددة الصفحات أو اختبار متعدد المتغيرات لقياس التفاعلات ونتائج السمات بشكل صحيح .

إذا قررت إجراء اختبارات A / B مع حركة مرور متداخلة ، فضع في اعتبارك أنه يجب دائمًا تقسيم حركة المرور بالتساوي. إذا كنت تختبر صفحة المنتج "أ" مقابل "ب" وصفحة الخروج "ج" مقابل "د" ، فتأكد من تقسيم حركة المرور من "ب" بنسبة 50/50 بين "ج" و "د" (وليس ، على سبيل المثال ، 25/75).

10. تجاهل المكاسب الصغيرة

تغلب علاجك على السيطرة بنسبة 4٪. "Bhh ، هذه طريقة صغيرة جدًا لتحقيق مكاسب! لن أكلف نفسي عناء تنفيذه ، "لقد سمعت الناس يقولون.

هنا الحاجة. إذا كان موقعك جيدًا ، فلن تحصل على مصاعد ضخمة طوال الوقت. في الواقع ، المصاعد الضخمة نادرة جدًا. إذا كان موقعك سيئًا ، فمن السهل إجراء اختبارات تحصل على زيادة بنسبة 50٪ طوال الوقت. ولكن حتى هذا سوف ينفد.

ستعطي معظم الاختبارات الفائزة مكاسب صغيرة - 1٪ ، 5٪ ، 8٪. في بعض الأحيان ، قد يعني رفع بنسبة 1٪ تحقيق أرباح بالملايين. كل هذا يتوقف على الأعداد المطلقة التي نتعامل معها. لكن النقطة الأساسية هي: أنت بحاجة إلى النظر إليها من منظور 12 شهرًا.

اختبار واحد هو مجرد اختبار واحد. ستجري العديد من الاختبارات. إذا قمت بزيادة معدل التحويل الخاص بك بنسبة 5٪ كل شهر ، فسيكون ذلك زيادة بنسبة 80٪ على مدار 12 شهرًا. هذا هو الفائدة المركبة. هذه هي الطريقة التي تعمل بها الرياضيات. ثمانون في المئة كثير.

لذا استمر في تحقيق تلك المكاسب الصغيرة. كل ذلك سيضيف في النهاية.

11. عدم إجراء الاختبارات طوال الوقت

كل يوم بدون اختبار هو يوم ضائع. الاختبار هو التعلم - التعرف على جمهورك ، وتعلم ما يصلح ، ولماذا. يمكن استخدام كل الرؤى التي تحصل عليها عبر التسويق الخاص بك (مثل إعلانات الدفع لكل نقرة PPC).

أنت لا تعرف ما الذي ينجح حتى تختبره. تحتاج الاختبارات إلى وقت وحركة مرور (الكثير منها). لا يعني إجراء اختبار واحد وتشغيله في جميع الأوقات أنه يجب عليك إجراء اختبارات القمامة. بالطبع لا. ما زلت بحاجة إلى بحث مناسب ، وفرضية جيدة ، وما إلى ذلك.

لكن لا تتوقف أبدًا عن التحسين.

12. عدم إدراك التهديدات صحة

لمجرد أن لديك حجم عينة لائق ومستوى ثقة ومدة الاختبار لا يعني أن نتائج الاختبار كانت صحيحة. هناك عدة تهديدات لصحة اختبارك.

تأثير الأجهزة

هذه هي القضية الأكثر شيوعًا. يحدث ذلك عندما تتسبب أدوات الاختبار (أو الأدوات) في وجود بيانات معيبة في الاختبار. غالبًا ما يرجع ذلك إلى التنفيذ الخاطئ للشفرة على الموقع ، مما يؤدي إلى تحريف جميع النتائج

عليك حقًا أن تنتبه لهذا الأمر. عند إعداد اختبار ، راقب كل هدف ومقياس يتم تسجيله. إذا كان المقياس لا يرسل البيانات (على سبيل المثال ، "إضافة إلى بيانات نقرة سلة التسوق") ، أوقف الاختبار ، وابحث عن المشكلة وأصلحها ، وابدأ من جديد بإعادة تعيين البيانات.

تأثير التاريخ

يحدث شيء ما في العالم الخارجي يتسبب في وجود بيانات معيبة في الاختبار. قد تكون هذه فضيحة بشأن عملك أو أحد مديريها التنفيذيين. يمكن أن يكون موسم أعياد خاص (عيد الميلاد ، عيد الأم ، إلخ). ربما تحيز قصة إعلامية الناس ضد اختلاف في اختبارك. ما من أي وقت مضى. انتبه لما يحدث في العالم.

تأثير الاختيار

يحدث هذا عندما نفترض خطأً أن جزءًا من حركة المرور يمثل إجمالي حركة المرور.

على سبيل المثال ، ترسل زيارات ترويجية من قائمة بريدك الإلكتروني إلى صفحة تجري عليها اختبارًا. الأشخاص الذين يشتركون في قائمتك مثلك أكثر بكثير من الزائر العادي. لكنك الآن تقوم بتحسين الصفحة للعمل مع حركة المرور المخلصين لديك ، معتقدًا أنها تمثل إجمالي عدد الزيارات. هذا نادرًا ما يحدث!

تأثير الكود المكسور

أنت تصنع العلاج وتدفعه إلى الحياة. ومع ذلك ، فإنه لا يفوز ولا ينتج عنه فرق. ما لا تعرفه هو أن معاملتك تم عرضها بشكل سيء على بعض المتصفحات و / أو الأجهزة.

عند إنشاء معالجة جديدة أو اثنتين ، تأكد من إجراء اختبار ضمان الجودة للتأكد من عرضها بشكل صحيح في جميع المتصفحات والأجهزة. خلافًا لذلك ، فأنت تحكم على تباينك بناءً على بيانات معيبة.

استنتاج

هناك العديد من الأدوات الرائعة المتاحة التي تجعل الاختبار أمرًا سهلاً ، لكنها لا تفكر بدلاً منك. قد لا تكون الإحصائيات هي مادتك المفضلة في الكلية ، ولكن حان الوقت لتنقيحها.

تعلم من هذه الأخطاء الـ 12. إذا كان بإمكانك تجنبها ، فستبدأ في إحراز تقدم حقيقي في الاختبار.

رصيد الصورة المميز