Итоги CXL Live 2019: выводы каждого спикера

Какая спешка - 24 докладчика за три дня на живописном курорте. Добавьте к этому 400 старых и новых лиц, много разговоров, живую музыку и еще несколько сортов пива. CXL Live - это опыт.

Также было это: наше вступительное видео, которое раскрывает все секреты выращивания ... роста:

Если вам интересно, что вы пропустили, вот основные моменты каждой сессии CXL Live в этом году.

Эльс Аэртс: «Утраченное искусство задавать вопросы»

• Опросы - не отстой, но большинство опросов - отстой. Они могут работать, если:
  • Вы правильно ответили на свои исследовательские вопросы.
  • Вы перестаете сосредотачиваться на представлении «цифр» и представлении информации.
• Как задавать правильные вопросы:
  • Не спрашивайте о будущем (например, «Если бы мы добавили функцию X, насколько вероятно, что вы купите Y?»); ваши пользователи не экстрасенсы.
  • Не спрашивайте о вещах, которые слишком далеко ушли в прошлое - человеческая память крайне ненадежна.
  • Не задавайте наводящих вопросов. (Например, не спрашивайте, насколько что-то «хорошо» было; спросите, насколько «хорошо или плохо» или просто «как» это было.)
• Вопросы с предвзятым отношением к негативному могут дать больше обратной связи (например, «Насколько сложно было…»).
• То, где и когда вы проводите опрос, может повлиять на результаты - если это раздел сайта, в котором пользователь испытывает боль, это повлияет на ответы.
• Страницы подтверждения и благодарности - отличная возможность задать людям вопросы. (например, рассматривали ли вы конкурента? Если да, то какие у нас характеристики, которые заставили вас предпочесть нас?)
• Устанавливая интервью, называйте их «чатами», а не интервью - и относитесь к ним как к чату; предвидеть, куда может пойти разговор, и слушайте, слушайте, слушайте.

Джоанна Вибе: «Написание зеркал: как использовать голос клиента для написания высококонвертируемой копии»

• 90% копирайтинга слушает.
• Цель состоит в том, чтобы написать копию, в которой люди видят себя - свое нынешнее «я» и ближайшее «я».
• Проверка копии: может ли это быть прорыв или провал? Достаточно ли этого, чтобы добиться полного прорыва? Или совсем ужасно?
• Выходите за рамки стандартных источников голосовых данных о клиентах ; лучшие варианты:
  • Интервью основателей (первоначальных «заказчиков»);
  • Опросы благодарственных страниц;
  • Usertesting.com;
  • Звонки по продаже рудников;
  • Билеты в службу поддержки шахт;
  • Мои комментарии в Facebook;
  • Мои онлайн-обзоры.
• Собеседования с основателями могут найти историю, ценностное предложение и большую идею.
  • Запишите интервью на видео и запишите его (с разрешения).
  • Расшифруйте интервью (rev.com).
  • Распечатайте и прочитайте стенограмму с помощью маркера: Что выделяется? Что по-другому?
• Торговые звонки и демонстрационные записи могут строить коммуникационные последовательности, иерархии и помогать закреплять копии.
  • Получите представление о том, как на самом деле думает ваш потенциальный клиент.
  • Наблюдайте за их выражениями лиц, пока они смотрят демонстрацию.
  • Переходите к частям, о которых говорит потенциальный клиент.
  • Следите за «документальными» моментами. (например, если вы дадите кому-нибудь стенограмму, они смогут разыграть ее? Это хороший момент.)
  • Следите за фразами типа «Я беспокоюсь о…» и «Вы можете показать мне…»
  • Пометьте то, что вы найдете, чтобы вы могли использовать это в своей копии (#objection # late-stage и т. Д.).

Кэрри Болтон: «Общайтесь со своими клиентами и руководителями - как действительно улучшить качество обслуживания клиентов.

• Клиентский опыт - это восприятие клиентом своего взаимодействия с вашим бизнесом.
• Компания Vanguard решила, что ориентация на качество обслуживания клиентов поможет им выделиться среди конкурентов:
  • Поэкспериментируйте с настройкой и персонализацией клиентского опыта.
  • Бывший. Клиенты выходят в Интернет, чтобы не звонить - страница перестроена, чтобы сделать ее более удобной для экспериментов, и целенаправленно снизить частоту звонков клиентов.
• Как сделать корпус внешне:
  • Получите конкурентную информацию от вашей отрасли или лучших в своем классе компаний (например, USAA, CIGNA);
  • Forrester Research;
  • Блоги клиентского опыта.
• Как сделать корпус внутренне:
  • Количественные или качественные исследования ваших клиентов (например, цифровая аналитика, исследование рынка).
  • «Поговорите с людьми, которые разговаривают с людьми».
  • Поговорите со своими финансовыми специалистами: какие показатели эффективности привлекают внимание?
• Скажи, не продавай.
• Когда вы «продаете», люди видят это насквозь.
• Опросы и отзывы клиентов могут выявить честные и необходимые отзывы, которые помогут понять, что им «сказать».

Джуда Филлипс: «Как я научился перестать беспокоиться о машинном обучении и полюбил ИИ»

• Искусственный интеллект дает аналитикам возможность смотреть вперед при принятии решений, а не в зеркало заднего вида.
• В настоящее время мы находимся на пороге прагматического ИИ (например, Siri, Alexa).
• ИИ также входит в рабочие места (например, системы рекомендаций, чат-боты, автоматические предложения для сотрудничества).
• ИИ - это все, что берет исторические данные (обучающие данные) и извлекает уроки из прошлой эффективности этих данных; обычно это машинное обучение с учителем.
• Глубокое обучение - это идея нейронных сетей. Это область завышенных ожиданий.
  • Сверточные нейронные сети (CNN) используются для распознавания изображений и видео.
  • Рекуррентные нейронные сети хороши для данных временных рядов.
  • Генеративные состязательные сети (GAN) хороши для создания поддельных данных и изображений из других данных и изображений, на которых вы их тренируете.
• Что делать с ИИ:
  • Прогнозировать отток;
  • Определите, какие предложения отправить физическому лицу;
  • Ускорение инноваций;
  • Персонализировать контент;
  • Аккаунт-маркетинг;
  • Алгоритмическая атрибуция;
  • Прогноз будущего подъема;
  • Предскажите вину.
• Понимание того, что делают модели (не обязательно лежащих в основе алгоритмов), и знание того, когда их применять и как интерпретировать результаты, - вот навыки, которые потребуются аналитикам.
• Автоматическое машинное обучение поможет нам решить проблему слишком большого количества данных и недостатка времени:
  • Автоматизированное машинное обучение делает прогнозы за считанные минуты с высокой точностью.
  • Исторически это было дорого. Уже нет. Бескодовый ИИ позволит вам сделать это уже сегодня.

Тон Весселинг: «Валидация в каждой организации»

• Почему умрут наши рабочие места CRO: команды работают в разном темпе.
  • Команды конверсии: циклы экспериментов 6–8 недель;
  • Маркетинговые команды: подготовка, кампания, подготовка, кампания;
  • Продуктовые команды: двухнедельные спринты.
• Команды конверсии / оптимизации могут стать кошмаром для маркетинговых и продуктовых команд.
• Команды оптимизации очень (слишком) гордятся:
  • Они говорят другим командам, что делают не так.
  • Может быть самодовольным и чрезмерно критичным.
  • Команды оптимизации должны быть более скромными.
• Почему на самом деле было бы неплохо убить команды оптимизации:
  • Оптимизируем дырявые ведра? Должны быть задействованы продуктовые и маркетинговые команды.
  • Термин «оптимизация коэффициента конверсии» на самом деле не описывает то, что мы делаем - мы помогаем клиентам достичь их бизнес-целей.
  • Почему мы всегда ориентируемся на Интернет? Оптимизация электронной почты, социальных сетей и т. Д. Также является оптимизацией.
• Оптимизация - это ключевой показатель эффективности, на который вы пытаетесь повлиять.
  • Иногда сюда входят клики, поведение, транзакции на пользователя и т. Д.
  • Вы должны оптимизировать потенциальную пожизненную ценность; должны быть универсальные KPI, под которые оптимизируются все команды.
• Оптимизация - это все о эффектах - получении большего результата.
  • как нам это сделать? Все отделы должны работать вместе, чтобы создать «центр проверки передового опыта».
  • Обеспечьте основанный на фактах рост в основе компании - демократизируйте исследования, чтобы командам разработчиков не приходилось беспокоиться о статистике.
  • Приоритезация для реализации = качество доказательств x потенциальное влияние на общие цели.
• Не будьте толкателем; быть помощником.

Тэмми Дагган-Херд: «Ловушки неосведомленных: как неправильное применение психологии снижает вашу конверсию»

• Понимать человеческое поведение сложно, а действовать в соответствии с ним - сложнее.
• Вы можете нанести ущерб конверсиям, маркетингу и своему бренду, если будете следовать неправильным принципам.
• Корень проблемы в том, как исследования становятся достоянием общественности:
  • Начинается с исследователя, который вынужден производить материал, который получит поддержку в средствах массовой информации / академических журналах.
  • Уровень отклонения научных журналов составляет 70% - очень немногие остаются без внимания.
  • Когда что-то доходит до публикации, пресс-релизы фокусируются на продвижении, а не на точности.
  • СМИ продолжают выдвигать претензии; блоггеры усугубляют проблему.
  • В конечном итоге мы потребляем в Твиттере - 20 страниц сокращены до 160 символов.
• Это телефонная игра - в лучшем случае искаженная информация не действует; в худшем случае - обратный эффект.
• Ловушки неосведомленного практикующего:
  • Чрезмерное упрощение. Медиа упрощает результаты, потому что они должны быть краткими, запоминающимися; квалификаторы и нюансы опускаются.
  • Переоценка размеров эффектов. Статистическая значимость не равна практической значимости - величине эффекта.
  • Чрезмерное обобщение. Мы часто игнорируем ограничения исследования, которые необходимы, потому что большинство исследований проводится с участием студентов в лаборатории (не репрезентативно).
  • Изолирующие выводы. СМИ рассматривают отдельные выводы как окончательные; ни одно отдельное исследование не может многое сказать само по себе; дополнительные переменные могут свести на нет / обратить вспять эффект.
• Вам нужно знать, как избежать подводных камней:
  • Прочтите оригинальное исследование. Что на самом деле было найдено? Каков был размер эффекта? Как это проводилось?
  • Не увлекайтесь хакерскими атаками.
  • Проверьте это на себе. Имейте в виду, что это может пойти не так / иметь неприятные последствия.

Брайан Кугельман: «Психология потребителей, дофамин и дизайн конверсии»

• Мифология допамина утверждает, что
  • Дофамин - это нейромедиатор удовольствия или счастья.
  • Переменные награды настолько сильны, что пользователи не могут им сопротивляться.
  • Такие компании, как Facebook, манипулируют людьми с помощью дофамина.
• Если бы эти утверждения были правдой:
  • Социальные сети были бы чистым удовольствием.
  • Мы все будем наркоманами, попавшими на крючок злых манипуляторов.
  • Большей части человечества не хватило бы самообладания.
• На самом деле дофамин заставляет людей чувствовать себя энергичными и любопытными.
  • Это эмоциональное вознаграждение, которое быстро исчезает, оставляя людей недовольными.
  • Люди привыкают к триггерам, которые перестают вызывать дофамин.
  • Дофамин усиливает поведение.
  • Слишком мало дофамина связано с двигательными нарушениями.
• Как мы запускаем дофамин в нашей аудитории? Сделайте цифровое обещание или сюрприз :
  • Виртуальный приветственный подарок;
  • Предложения быстрого обогащения;
  • Тайна коробки;
  • Аукционы;
  • Лотерея;
  • Рекламные объявления: «Как выглядят эти детские звезды сегодня»;
  • Опросы / викторины BuzzFeed, например, какая ты собака?
• Как мы используем это в цифровом маркетинге?
  • Визуальные подсказки подарков и наград;
  • Загадочные призы;
  • Редакционные крючки;
  • Ценностные предложения;
  • Заявления о выгодах;
  • Никаких намеков на награды.
• Мозг привыкает к старым наградам (например, баннерной слепоте).
• Как преодолеть привыкание?
  • Предлагайте больше, лучше, больше.
  • Воспользуйтесь новинкой.
  • Включайте сюрпризы.
  • Удерживайте полную историю.
  • Уменьшите частоту охвата.
  • Добавляйте случайные подарки.
  • Переупаковка сегодняшних материалов.
  • Добавьте новшества.
  • Используйте переменные вознаграждения.
• Используйте неопределенность в своих интересах:
  • Если вы что-то раздаете с доставкой, используйте случайную награду с усиленным ожиданием.
• Используйте управление ожиданиями, будьте откровенны, выполняйте свои обещания, и вы получите заслуженный допамин.

Лукас Вермеер: «Демократизация онлайн-экспериментов на Booking.com»

• Всякий раз, когда кто-то показывает вам данные, ваш первый вопрос должен быть: «Где и как были получены / собраны эти данные?»
• Некоторые люди неправильно понимают проверку на основе данных как ограничение творческой свободы.
• В Booking уверены в достоверности данных, а решения видны всем. Это обеспечивает непрерывный индивидуальный процесс принятия решений.
• «Множественное число анекдота - это не данные» - нам нужны доказательства, чтобы принимать решения.
• Избегайте игр в догадки (например, «Какой из двух цветов кнопок лучше?»):
  • Вместо этого нам следует провести проверку гипотез, которая включает гораздо более подробное описание мышления, лежащего в основе эксперимента.
  • Это не означает, что вы не можете тестировать цвета кнопок, но вы гораздо лучше понимаете, зачем вы это делаете и какие варианты вам следует тестировать.
• Шаблон гипотезы: теория, подтверждение, цель.
• Критически важно испытать собственное понимание продукта с помощью экспериментов:
  • Он переворачивает мышление «все тесты должны побеждать» - «9/10 тестов терпят неудачу» (VWO), но обучение никогда не бывает неудачным.
• Найдите наименьшие шаги, чтобы быстро проверить самые рискованные предположения.

Райан Томас: «Оптимизация для подписок по электронной почте»

• Захват электронной почты иногда может работать против ваших основных целей
  • Бывший. Оптимизация всплывающего окна конкурса привела к увеличению числа подписок по электронной почте более чем на 300%, но коэффициент конверсии электронной коммерции и AOV снизились.
  • Исправление: замените конкурс предложением, которое поощряет продажу сейчас (комбинация приветственного и выходного предложения с небольшой скидкой).
  • Аналогичный рост числа подписок на рассылку электронных писем плюс повышение коэффициента конверсии транзакций и доходов.
• Зачем сосредотачиваться на подписках по электронной почте?
  • Посмотрите на данные: почтовый трафик часто работает лучше всего; Пример временного лага и длины пути: две трети конвертируются в тот же день, но меньше половины в первой точке касания.
  • Постройте отношения со своим клиентом
  • Стратегия тестирования: Независимый KPI (вряд ли будет конфликтовать с другими тестами); Низкий трафик: здесь можно протестировать, если у вас недостаточно макроконверсий; Тестирование как обучение: попробуйте обмен сообщениями и мотивацию
• ResearchXL процесс
  • Эвристический анализ
  • Отслеживание мыши
  • Веб-аналитика
  • Пользовательское тестирование
  • Качественные опросы
  • Технический анализ
• Опросы клиентов
  • Открытые, не наводящие вопросы
  • Узнайте о мотивациях, процессе принятия решений, сомнениях, разочарованиях
• Информация может быть получена откуда угодно
• Сопоставьте точки данных для определения приоритетов вашей дорожной карты (PXL)
• Еще примеры:
  • Оптимизация всплывающего окна конкурса для часто покупаемого продукта привела к увеличению количества подписок по электронной почте, не повлияв на показатели электронной торговли.
  • Добавление приветственного предложения там, где его не было до того, как количество подписок по электронной почте увеличилось на 95%, и небольшое повышение коэффициента конверсии транзакций
• Выводы:
  • Согласуйте свою стратегию с тем, что важно для бизнеса - никаких тщеславных показателей.
  • Попробуйте разные тактики, инструменты, предложения и замыслы.
  • Проведите свое исследование!

Нина Баятти: «Действительно ли это была победа? Данные по нисходящей последовательности, которые вы должны отслеживать »

• Вы можете отслеживать множество показателей:
  • Коэффициент конверсии;
  • Показатель отказов;
  • CTR;
  • Просмотры страниц;
  • Свинец захватывает;
  • Коэффициент конверсии покупки.
• Но они не рассказывают всю историю.
• Чтобы прийти к уверенным выводам, вам необходимо проанализировать данные по нисходящей воронке.
• В ClassPass они считают, что рефералы важны для привлечения новых клиентов, поэтому имеет смысл стимулировать рефералов.
  • Они протестировали, предлагая 10 бесплатных кредитов за тренировки с приятелем.
  • Инвайты выросли на 50%; Увеличение количества рефералов на 35%.
  • Затем они заметили, что каннибализируют другие каналы - люди, переходящие в качестве рефералов, были потенциальными клиентами, уже полученными из других каналов.
• Настройка ваших экспериментов на успех:
  • Определите показатели успеха.
  • При определении размера выборки учитывайте все этапы воронки (т. Е. Сделайте ее достаточно большой и для анализа на дне воронки).
  • Определите и переберите рычаги нисходящей воронки.
  • Поощрения работают, но они могут работать слишком хорошо и привлекать людей, которые на самом деле не пользуются услугами / продуктом, или каннибализировать другие каналы.
  • Всегда учитывайте влияние ваших победных тестов на ваш рост и стоимость.

Эрик Аллен: «Проигрыш в тестах тоже может быть победителем. Как оценить и извлечь уроки из неудачного эксперимента ».

• Стоимость экспериментов - вы надеетесь, что выгода перевешивает стоимость.
• Почему проигрывать больно? В нашем уме потери больше, чем выигрыши.
• Обучение над знаниями: знание конечно; Планируйте каждый эксперимент таким образом, чтобы вы могли извлекать уроки даже из потерь.
• Ошибки тестов перепроектирования Ancestry.com:
  • Первый тест: выяснилось, что мы слишком много изменились, необходимо изолировать переменные.
  • Второй тест: потребители не понимают разницы между пакетами и просто выбирают самую низкую цену.
  • Третий тест: страницы предложений слишком сложны, и потребители проводят на странице слишком много времени.
  • Четвертый тест: слишком много людей сейчас принимают краткосрочный пакет услуг.
  • Пятый тест: это просто не работает. Вернуться к исходному.
• Научитесь переосмысливать потерю: « A / B-тесты - это наша стоимость обучения. Учиться нужно денег. ”
• Влияние тестирования:
  • Базовая скорость выполнения: 100 миллионов долларов в год;
  • Пробный подъем: 10%;
  • Продолжительность теста: 90 дней (25%);
  • Отрицательное воздействие: 2,5 миллиона долларов;
  • Общий доход: 97,5 миллиона долларов.
• Влияние внедрения без тестирования:
  • Базовая скорость выполнения: 100 миллионов долларов в год;
  • Пробный подъем: 10%;
  • Продолжительность теста: 12 месяцев;
  • Отрицательное воздействие: 10 миллионов долларов;
  • Общий доход: 90 миллионов долларов.
• Общая экономия с тестированием: 7,5 миллиона долларов.
• Изучение серии тестов может превратить проигрыш в победу.
• Выводы:
  • Джеймс Линд: Есть цена, но есть и положительный момент.
  • Джефф Безос: Продолжайте эксперименты.
  • Jay-Z: Потери - это уроки.

Стефани Ламберт: «Настоящий разговор: извлеченные уроки при создании программы оптимизации»

• Чувствительность к организационной культуре облегчит жизнь каждому.
  • Если компания делает что-то по-другому, это может означать, что вам нужно вписаться в нее.
• Дьявол кроется в деталях.
  • Нам пришлось перезапускать тест несколько раз из-за слишком быстрого перемещения.
  • Для простого теста подключение Google Analytics к Google Optimize заняло бы пару секунд, но, поскольку мы этого не сделали, мы потратили две недели.
• Если он не подкреплен данными, он, вероятно, не сработает.
  • Ваша очередь тестирования должна состоять в основном из тестов с поддержкой данных.
  • Линия одежды действительно хотела показать качество своей одежды и сделать их изображения крупнее. Но идея пришла не из данных.
  • Когда мы показывали изображения большего размера, на странице было меньше товаров, что снижало CTR.
• Количественные и качественные данные необходимы для исключительных результатов.
  • После развертывания теста мы были разочарованы 20% -ным уменьшением инициализации форм.
  • Новая форма выглядела лучше и хорошо зарекомендовала себя на сайте.
  • Мы отфильтровали записи сеанса для вариантов использования элемента управления и вариации.
  • В новом варианте форма достаточно выделялась, чтобы посетители могли распознать ее как форму, поэтому больше пользователей ушли, количество запусков формы уменьшилось.
• Любопытство не убило кошку.
  • Выделитесь своей заботой, чтобы задавать трудные вопросы. (например, «Это действительно хорошо, но что может быть лучше?»)
  • Когда я только начинал, мне было неудобно принимать решения большого бизнеса на основе данных, полученных с помощью инструмента.
  • Мне пришлось изучить статистику, чтобы доверять данным.

Лиззи Эрдли: «Погоня за статистическими призраками в экспериментах»

• Статистический призрак: когда вы думаете, что ваш тест повлиял на вашу метрику, но на самом деле нет никакого влияния. Вас обманывают данные
• Выполнено 100 000 тестов A / A: 60% тестов A / A показали разницу не менее 1%.
• «Статистически несущественно» не означает, что это не повлияло, просто у вас недостаточно доказательств, чтобы отвергнуть нулевую гипотезу.
• Четыре причины статистических призраков:
  • Множественные сравнения;
  • Подглядывание;
  • Плохая метрика;
  • Почти значительный.
• Множественные сравнения:
  • Необходимо учесть это, отрегулировав значение p.
  • Вероятность ложноположительного результата применяется к каждому сравнению.
  • Бывший. 1 сравнение: вероятность ложного срабатывания 5%; 8 сравнений, вероятность ложного срабатывания 34%!
  • Основывайте гипотезу на одном ключевом показателе, а затем выберите второстепенные показатели.
• Подглядывание:
  • Просмотр данных и выполнение действий до заранее определенного окончания эксперимента.
  • Это может иметь огромное влияние на количество ложных срабатываний.
  • Веские причины заглянуть: проверка на ошибки, предотвращение сбоев, эффективность.
• Плохая метрика:
  • Хорошая метрика значима, интерпретируема, чувствительна, подходит для теста.
  • Значимый: фиксирует то, что вы намеревались изменить.
  • Интерпретируемый: легко сказать, как изменение повлияло на поведение пользователя.
  • Чувствительный: может быстрее обнаруживать небольшие изменения.
  • Подходит для теста: нормальные тесты предполагают независимость, и эта ошибка обычно распределяется.
• Почти значимо:
  • Призрак искушения. Люди хотят верить в то, на что надеются.
  • Не существует такого понятия, как «почти» значимое!

Эмили Робинсон: «6 рекомендаций по A / B-тестированию»

• Этапы процесса экспериментирования:
  • Процесс. Вы не можете делать все, а то, что вы не делаете, по-прежнему важно.
  • Создание.
  • Анализируем.
  • Принимать решение. Как решить, что делать дальше?
• Чем меньше данных, тем сильнее мнения. Наши мнения часто ошибочны. Не позволяйте HiPPO (мнение самого высокооплачиваемого лица) убивать ваши идеи; вместо этого поэкспериментируйте.
• Начните с исторических данных: какова популяризация вашей идеи тестирования? Каков ваш текущий коэффициент конверсии и предполагаемый прирост?
• Выполните анализ мощности! Важно для определения точки остановки и предотвращения ложного отрицательного результата. (Восемьдесят процентов означает, что есть 80% -ная вероятность, что вы заметите изменение, если оно есть.)
• Если вы попробуете сразу несколько изменений, невозможно будет выяснить, что не сработало; вместо этого работайте над небольшими инкрементальными тестами.
  • Etsy начала с выпуска всех изменений после завершения тестов.
  • Перешел к более глубокому процессу внедрения изменений A / B-тестирования с меньшими циклами.
• Создавайте прототипы идей, прежде чем реализовывать их.
• Пригласите ученого, который сможет убедиться, что вы отслеживаете правильные показатели. Они также могут помочь вам с расчетами мощности и повторением идей.
• Принимать решение:
  • Какую техническую сложность и долговечность вы добавляете?
  • Это фундаментальная особенность?
  • Может ли быть негативное воздействие, которое невозможно обнаружить?
• Будьте осторожны при запуске с нейтральной точки зрения - не имея твердой стратегии или достаточного количества данных для поддержки принятия решений.

Валери Кролл: «Как представить результаты тестов, чтобы побудить к действию»

• При представлении данных ключевой вопрос: «Что вы хотите, чтобы ваша аудитория ушла?»
• Формула шаблона:
  • Почему мы тестировали;
  • Что мы тестировали;
  • Результаты;
  • Обучение;
  • Что дальше.
• Ваши слайды - это не ваша презентация. Вы презентация.
• Изложите свое экономическое обоснование:
  • Где ты это тестируешь?
  • Кто публика?
  • Что вы будете измерять?
• Изложите тезис. (например, «Повысит ли приглашение в чате ценностное предложение привлечение потенциальных клиентов?»)
• Определите, как измерялся эксперимент:
  • Утверждение гипотезы;
  • Первичные КПЭ;
  • Вторичные КПЭ.
• Сделайте свои презентации интерактивными: проведите опрос - спросите людей, что, по их мнению, выиграет.
• Представление результатов:
  • Влияние на основные KPI;
  • Одна визуализация первичных KPI; люди будут лучше понимать ваши результаты.
  • Сегментация, чтобы показать, что еще вы нашли.
  • Держите знания и действия бок о бок. (Это должно занять 40–50% вашего презентационного времени.)
• Если что-то не добавляет в вашу презентацию, оно отнимает у нее (например, статистику, техническую информацию и т. Д.).
• Имейте предсказуемый шаблон. Люди знают, чего ожидать. Делает вашу работу быстрее.

Андре Морис: «Мы все умрем: почему« Оптимизация »- это ускорение эволюции»

• Эффект Тэтчер (1980, живой эксперимент): трудно распознать изменения на перевернутом фото лица (Маргарет Тэтчер).
• Если вы не знаете шаблон, вы можете не узнать его - то же самое и для CRO.
• Вам нужно изменить точку зрения, чтобы увидеть правду, скрытую за вещами.
• Бывший. Почему умирает Commerzbank?
  • Честно говоря, опыт - отстой.
  • Но почему? У них есть дизайнеры, CRO, аналитики.
  • Невежественные HiPPO - руководство не чувствует боли.
• «Истина - точнее, точное понимание реальности - является важной основой для достижения хороших результатов».
• Не говорите о разрушительных бизнес-моделях; те, кто срывает, не говорят об этом. Они слишком заняты разрушением.
• Цифровой рост не связан с технологиями; он основан на отличном клиентском опыте.
• Если нет намерения тестировать клиентский опыт, вы не увидите результатов.
• Оптимизация по своей природе гибкая: CRO предоставляет команде новые данные, чтобы доказать, что все, что делала организация, было хорошо или плохо.
• Хорошие оптимизаторы генерируют идеи, ориентированные на клиента.
• Преимущество Amazon в том, что они постоянно генерируют новые идеи.
  • Это волна - быстрое цунами. (Вы этого не видите.)
• Процесс бесконечной оптимизации: анализ, расстановка приоритетов, проверка.
• Измените менталитет менеджмента.
  • Руководству не важно, что изменилось на сайте.
  • Представьте руководству рентабельность инвестиций в программу экспериментов.
  • Совет: подружитесь с финансовым директором.
  • Встречи за круглым столом C-Suite - позволяют руководству обсудить свои проблемы, а затем проявить желание (например, продать программу).
  • Руководство хочет больших вещей! Однако они забывают, что меньшие изменения приводят к большим результатам (сложный эффект).

Джон Экман: ​​«Что сломано в цифровой трансформации (и как это исправить)»

• «Цифровая трансформация» - не лучшая цель:
  • Цели заключаются в том, чтобы «быстро вывести продукт на рынок» или «хорошее обслуживание клиентов».
  • Мы (ошибочно) ставим цель «цифровой трансформации», когда цели не должны меняться, только инструменты для их достижения.
• Пять способов цифровой трансформации:
  • Оцифровать продукт;
  • Оберните слой цифровых услуг вокруг продукта;
  • Оцифровать процессы «за кадром»;
  • Оцифровать маркетинг, продажи и удержание;
  • Создавайте новые цифровые продукты.
• Мы должны выбрать и расставить приоритеты среди пяти способов цифровой трансформации; даже цифровые лидеры могут преуспеть в одном или двух направлениях, но не в других.
• Лидерство думает, что тратит кучу денег; практикующие чувствуют, что у них нет ресурсов.
  • Реальность такова, что это рост хоккейной клюшки - вам нужно потратить кучу денег, прежде чем вы увидите какие-либо результаты (и тогда результаты будут экспоненциальными).
  • Выделите бюджет на новые инициативы, прежде чем выделять средства на текущие инициативы.
• Несогласованность целей и оценки:
  • Маленькие проекты не организованы в рамках общей картины.
  • При цифровой трансформации мы не знаем масштаб окупаемости или необходимых инвестиций; взгляд только на рентабельность инвестиций не продвигает вас в будущее.
  • Решения: OKR (Google), учет инноваций (Эрик Райс), дозированное финансирование (VC).
• Три цифровые сверхдержавы:
  • Умение (1) слушать клиентов;
  • Когда вы слушаете, вы можете (2) действовать; в противном случае вы действуете на неверной информации.
  • Если у вас есть и то, и другое, вы можете (3) масштабировать; в противном случае вы масштабируете не ту вещь.

Уилл Кричлоу: «Что, если ваши успешные тесты CRO портят ваш поисковый трафик? Или ваши изменения в SEO снижают вашу конверсию? »

• Общее беспокойство заключается в том, что SEO может облажаться с CRO, а не наоборот.
  • CRO занимается нижней частью воронки (больше людей обращаются к продажам).
  • SEO занимается вершиной воронки (добавляя больше людей в воронку).
• Многие CRO-страницы даже не проиндексированы, но многие из них - и тесты CRO могут повредить органическому трафику. (Мы это видели.)
• Эксперимент: оптимизаторов поисковых систем и специалистов по нецифровому маркетингу попросили оценить, какая из двух страниц может иметь более высокий рейтинг:
  • Никому не удалось достичь 50% точности прогноза.
  • SEO-специалисты были лишь ненамного лучше, чем не-SEO.
• Итак, как нам делать более точные прогнозы? SEO-тестирование (DistilledODN).
• Изменения, которые работают для одной ниши, могут не работать для другой - мы должны протестировать.
  • «Лучшие практики» SEO зависят от конкретного сайта / отрасли.
• UX - это фактор ранжирования (возможно):
  • Google обучает модели машинного обучения нравиться тем же вещам, что и людям.
  • Но Google не идеален - каждое изменение алгоритма не приводит к достижению этой цели, но это то, что они пытаются сделать.
  • Таким образом, мы должны строить гипотезы SEO, исходя из основ UX.
• В конечном итоге нам нужно - и мы выиграем от - тестирования воздействия SEO и CRO одновременно. Мы в одной команде.

Бреннан Данн: «Как предоставить полностью персонализированный опыт в масштабе»

• Многие люди «думают», что они персонализируют, но есть много бесполезной персонализации.
• Вещи, в которых я действительно хочу быть персонализированными: мои намерения, мои действия, уровень моих знаний.
• Две основные задачи для сегментации:
  • Сделать ваше сообщение более актуальным, конкретным;
  • Использование сегментации для улучшения отчетности.
• При сегментации меня волнуют две вещи: «кто» и «что»: «Я [пусто], и мне нужна ваша помощь с [пустым]».
• Как автоматически сегментировать людей:
  • Намерение / поведение
    1. Какие последние 10–20 статей кто-то прочитал на нашем сайте?
    2. Оригинальные посадочные страницы.
    3. Рекламу, по которой они нажимали (особенно это касается рекламы в Facebook).
    4. Рефералы.
  • Действия
    1. Покупки.
    2. Свинцовые магниты.
    3. Вебинары.
  • Обзоры
    1. Триггерные ссылки: «На чем вы сейчас больше всего сосредоточены?»
    2. Обзоры. «Что вы собираетесь делать на нашем сайте сегодня?»
    3. Размещенные опросы.
  • Clearbit
• Что делать, если вы не знаете, как следует сегментировать?
  • Когда кто-то присоединяется к электронному курсу или скачивает лид-магнит, спросите его в упор. (например, «Что вам нужно получить от этого электронного курса?»)
• Благодаря персонализации мы можем использовать нишевый обмен сообщениями, не являясь на самом деле нишевым бизнесом.
• Меньше размышлений, больше вовлеченности = больше конверсий.
• В конце концов, персонализация важна.

Чад Сандерсон: «Согласование экспериментов по разработке продуктов и маркетингу»

• Иногда маркетинговые и инженерные отделы хотят проводить параллельные эксперименты и сталкиваются с конфликтами.
• Люди, близкие к продукту, имеют большую вовлеченность в бизнес.
• Разные типы компаний: Tech First (Bing, LinkedIn), Second (Booking.com, Grubhub), Third (Sephora, Target).
• В зависимости от типа бизнеса у вас есть различия:
  • Оптимизация. Эта функция не существовала бы без инструмента для экспериментов; Дизайн эксперимента может происходить вне цикла спринта.
  • Проверка. Эта функция будет существовать независимо от экспериментов; Дизайн эксперимента является частью цикла разработки.
• Большой редизайн Snapchat получил 83% отзывов пользователей - пример катастрофы, которой можно было бы избежать с помощью процесса проверки.
• Скорость страницы убивает. Снижает ли оптимизация коэффициент конверсии на 5% и более? Технологии экспериментов на стороне клиента не могут увеличить задержку менее чем на 1000 мс. Задержка каждые 100 мс вызывает снижение RPV на 0,5%.
• Шаги к успеху:
  • Разберитесь в своей текущей структуре: оптимизация или проверка.
  • Выясните, где вам не хватает покрытия. Отслеживается ли рентабельность инвестиций? Поставляется ли продукт с экспериментами?
  • Сократите разрыв между людьми и отделами - получите общие цели для показателей программы.
  • Создайте форум для обмена результатами и работы над совместными проектами (результатами на глобальном программном уровне, а не отдельными тестами).
  • Ежемесячные встречи для последовательного обзора показателей и решения противостоящих сил.

Наташа Вахид: «Как заинтересовать всю вашу организацию экспериментами»

• Культура - фактор успешного экспериментирования. Возьмем такой сценарий:
  • Защитник оптимизации, состоящий из одной женщины, начинает находить у всех идеи для экспериментов.
  • У нее есть масса идей, но поскольку она шоу одной женщины, она попадает под снег.
  • Через некоторое время это становится шуткой - местом, где идеи умирают.
• Как нам лучше?
  • Вдохновлять - искра. Мотивируйте людей действовать.
  • Обучайте - тренируйте. Формальный или неформальный.
  • Информировать - передавать знания, действия.
• Основная команда владеет программой. Они сосредоточены на получении поддержки со стороны руководства и наращивании импульса.
• Бывший. Посланник
  • Мишель подчеркнула, чего компании не хватало из-за того, что она не оптимизировала свои основные воронки.
  • Наняли ведущего инженера и дизайнера. Они также привлекли надежного партнера из внешнего агентства.
  • Все могли увидеть влияние эксперимента. Инженер сразу же жестко запрограммировал выигрышный вариант.
• Бывший. Квадратный
  • Одна из самых заметных продуктовых команд претерпела неудачный редизайн.
  • Организованные семинары, посвященные изменению мышления людей в отношении экспериментов.
  • Сосредоточен на содействии сотрудничеству, спрашивая команды, есть ли идеи из других экспериментов, которые могут иметь отношение к текущей команде.
• Модель RACI:
  • Р - ответственный - выполняющий собственно работу;
  • А - ответственный - собственник проекта;
  • C - консультант - предоставляет информацию по управлению процессом;
  • Я - информация - люди, которых просто нужно держать в курсе.
• Пример связи RACI:
  • Владелец: Чемпион экспериментов;
  • Сообщение: Эксперимент X запущен;
  • Канал: уведомление Slack;
  • Аудитория: Команда инженеров;
  • Время: автоматически при запуске эксперимента в инструменте.

Заключение

Этот пост представляет собой 21 получасовую сессию, сжатую менее чем до 5000 слов. Если вы хотите получить полный опыт - внутри и вне сессий конференции - вам просто нужно быть там.

Хорошие новости? Вам не нужно ждать целый год. Join us at Digital Elite Camp in Estonia on June 13–15.