Recapitulação do CXL Live 2019: comentários de todos os palestrantes

Que correria - 24 palestrantes em três dias em um resort pitoresco. Adicione a isso 400 rostos novos e antigos, muitas conversas, música ao vivo e mais do que algumas cervejas. CXL Live é uma experiência.

Havia isso também: Nosso vídeo de abertura que revelou todos os segredos do crescimento ... crescimento:

Se você está se perguntando o que perdeu, aqui estão os destaques de cada uma das sessões no CXL Live este ano.

Els Aerts: “A arte perdida de fazer perguntas”

• As pesquisas não são uma droga, mas a maioria das pesquisas é uma droga. Eles podem funcionar se:
  • Você acertou em suas perguntas de pesquisa.
  • Você para de se concentrar em apresentar “números” e apresentar informações.
• Como fazer as perguntas certas:
  • Não pergunte sobre o futuro (por exemplo, “Se adicionássemos o Recurso X, qual seria a probabilidade de você comprar Y?); seus usuários não são médiuns.
  • Não pergunte sobre coisas que estão muito no passado - a memória humana é extremamente duvidosa.
  • Não faça perguntas dirigidas. (por exemplo, não pergunte se algo era "bom"; pergunte se algo era "bom ou ruim" ou simplesmente "como" era.)
• Perguntas tendenciosas em relação ao negativo podem fornecer mais feedback (por exemplo, “Quão difícil foi…”).
• Onde e quando você entrega uma pesquisa pode afetar os resultados - se for uma seção do site onde o usuário está passando por dificuldades, as respostas serão tendenciosas.
• As páginas de confirmação e agradecimento são ótimas oportunidades para fazer perguntas às pessoas. (por exemplo, você considerou um concorrente? Em caso afirmativo, quais características temos que fizeram você nos escolher em vez deles?)
• Ao marcar entrevistas, chame-as de “bate-papos”, não de entrevistas - e trate-as como bate-papos; antecipar onde a conversa poderia ir e ouvir, ouvir, ouvir.

Joanna Wiebe: “Writing Mirrors: How to Use the Voice of the Customer to Write High-Converting Copy”

• 90% dos direitos autorais estão ouvindo.
• O objetivo é escrever uma cópia em que as pessoas se vejam - seu eu atual e o próximo eu imediato.
• Validação para cópia: isso poderia ser um avanço ou fracasso? É forçar as coisas o suficiente para ser um avanço total? Ou absolutamente horrível?
• Vá além das fontes padrão de voz de dados do cliente ; as melhores opções são:
  • Entrevistas fundadores (os “clientes” originais);
  • Pesquisas da página de agradecimento;
  • Usertesting.com;
  • Chamadas de vendas de minas;
  • Tíquetes de suporte à mina;
  • Meus comentários do Facebook;
  • Meus comentários online.
• As entrevistas com o fundador podem encontrar a história, a proposta de valor e a grande ideia.
  • Faça a entrevista em vídeo e grave-a (com permissão).
  • Transcreva a entrevista (rev.com).
  • Imprima e leia a transcrição com um marcador: O que se destaca? O que é diferente?
• Chamadas de vendas e gravações de demonstração podem traçar sequências de comunicação, hierarquias e ajudar a tornar a cópia fixa.
  • Obtenha informações sobre o fluxo de como seu cliente potencial está realmente pensando.
  • Observe suas expressões ao ver a demonstração.
  • Pule para as partes em que o cliente em potencial está falando.
  • Fique atento aos momentos “estilo documentário”. (por exemplo, se você der a transcrição a alguém, ela pode encenar? É um bom momento.)
  • Preste atenção em frases como "Estou preocupado com ..." e "Você pode me mostrar ..."
  • Marque o que encontrar para que possa usá-lo em sua cópia (# objeção # estágio final, etc.).

Carrie Bolton: “Seja Real com Seus Clientes e Executivos - Como Realmente Melhorar a Experiência do Cliente

• A experiência do cliente é a percepção do cliente sobre sua interação com o seu negócio.
• A Vanguard decidiu que focar na experiência do cliente os ajudaria a se diferenciar de seus concorrentes:
  • Configure a experimentação em torno da customização e personalização da experiência do cliente.
  • Ex. Os clientes ficam online para evitar chamadas - página reconstruída para torná-la mais amigável para experimentos e reduzir as taxas de chamadas dos clientes.
• Como apresentar o caso externamente:
  • Obtenha inteligência competitiva de seu setor ou das melhores empresas (por exemplo, USAA, CIGNA);
  • Forrester Research;
  • Blogs de experiência do cliente.
• Como apresentar o caso internamente:
  • Pesquisa quantitativa ou qualitativa de seus clientes (por exemplo, análise digital, pesquisa de mercado).
  • “Fale com as pessoas que falam com as pessoas.”
  • Converse com seu pessoal de finanças: quais indicadores de desempenho chamam a atenção?
• Diga, não venda.
• Quando você “vende”, as pessoas enxergam através disso.
• A pesquisa e o feedback do cliente podem revelar feedback honesto e necessário para ajudar a saber o que “dizer” a eles.

Judah Phillips: “How I Learned to Stop Worrying about Machine Learning and Love AI”

• A inteligência artificial dá aos analistas a capacidade de olhar para frente ao tomar decisões - em vez de olhar no espelho retrovisor.
• No momento, estamos no início da IA ​​pragmática (por exemplo, Siri, Alexa)
• A IA também está entrando no local de trabalho (por exemplo, mecanismos de recomendação, chatbots, sugestões automatizadas para colaboração).
• IA é qualquer coisa que obtém dados históricos (dados de treinamento) e aprende com o desempenho anterior desses dados; normalmente, é o aprendizado de máquina supervisionado.
• Aprendizado profundo é a ideia de rede neural. É uma área de expectativas exageradas.
  • Redes neurais convolucionais (CNNs) são usadas para reconhecimento de imagem e vídeo.
  • Redes Neurais Recorrentes são boas para dados de séries temporais.
  • Generative Adversarial Networks (GANs) são boas na criação de dados e imagens falsos a partir de outros dados e imagens em que você os treina.
• O que fazer com IA:
  • Prever rotatividade;
  • Identifique quais ofertas enviar para um indivíduo;
  • Acelere a inovação;
  • Personalize o conteúdo;
  • Marketing baseado em contas;
  • Atribuição algorítmica;
  • Previsão de aumento futuro;
  • Preveja a culpa.
• Compreender o que os modelos fazem (não necessariamente os algoritmos subjacentes) e saber quando aplicá-los e como interpretar os resultados são as habilidades de que os analistas precisam.
• O aprendizado de máquina automatizado nos ajudará a resolver o problema de ter muitos dados e tempo insuficiente:
  • O aprendizado de máquina automatizado prevê em minutos com alta precisão.
  • Historicamente, isso é caro. Não mais. A IA sem código permitirá que você faça isso hoje.

Ton Wesseling: “Validação em todas as organizações”

• Por que nossos empregos CRO vão morrer: as equipes operam em ritmos diferentes.
  • Equipes de conversão: ciclos de experiência de 6–8 semanas;
  • Equipes de marketing: Preparar, campanha, preparar, campanha;
  • Equipes de produto: sprints de 2 semanas.
• As equipes de conversão / otimização podem se tornar um pesadelo para as equipes de marketing e produto.
• As equipes de otimização têm muito (muito) orgulho:
  • Eles contam a outras equipes o que estão fazendo de errado.
  • Pode ser hipócrita e excessivamente crítico.
  • As equipes de otimização deveriam ter mais humildade.
• Por que pode ser uma boa ideia matar equipes de otimização:
  • Estamos otimizando baldes furados? As equipes de produto e marketing devem estar envolvidas.
  • O termo “otimização da taxa de conversão” realmente não descreve o que fazemos - ajudamos os clientes a atingir seus objetivos de negócios.
  • Por que estamos sempre focando na web? Otimizando e-mail, social, etc., também é otimização.
• Otimização é o KPI que você está tentando impactar.
  • Isso às vezes inclui cliques, comportamentos, transações por usuário, etc.
  • Você deve otimizar para o valor potencial da vida útil; deve haver KPIs universais que todas as equipes otimizam.
• Otimização tem tudo a ver com efeitos - obter mais resultados.
  • Como vamos fazer isso? Todos os departamentos devem trabalhar juntos para criar um "centro de excelência de validação".
  • Permita o crescimento baseado em evidências no coração da empresa - democratize a pesquisa para que as equipes de produto não tenham que se preocupar com estatísticas.
  • Priorização para implementação = Qualidade da Evidência x Efeito Potencial nos Objetivos Compartilhados.
• Não seja um traficante; ser um facilitador.

Tammy Duggan-Herd: "Pitfalls of the Unaware: How the Misapplication of Psychology is Damaging Your Conversion Rates"

• Compreender o comportamento humano é complicado, agir de acordo com ele ainda mais.
• Você pode prejudicar as conversões, o marketing e sua marca se seguir os princípios errados.
• A raiz do problema é como a pesquisa chega ao público:
  • Começa com um pesquisador que está sob pressão para produzir coisas que ganhem força na mídia / periódicos acadêmicos.
  • As revistas científicas têm uma taxa de rejeição de 70% - muito pouca coisa sai.
  • Quando algo chega à publicação, os comunicados à imprensa se concentram na promoção, não na precisão.
  • A mídia continua a aumentar as reivindicações; blogueiros tornam o problema pior.
  • No final das contas, consumimos no Twitter - 20 páginas reduzidas para 160 caracteres.
• É um jogo de telefone - o melhor cenário é que as informações distorcidas não surtem efeito; O pior cenário é que ele gera o efeito oposto.
• Armadilhas do praticante desavisado:
  • Simplificação excessiva. A mídia simplifica os resultados porque precisa ser concisa, cativante; os qualificadores e as nuances são eliminados.
  • Superestimar o tamanho dos efeitos. A significância estatística não é igual à significância prática - a magnitude do efeito.
  • Generalizando demais. Freqüentemente, desconsideramos as limitações do estudo, que são necessárias porque a maioria dos estudos é com alunos de graduação em um laboratório (não representativo).
  • Isolando descobertas. A mídia trata as descobertas isoladas como definitivas; nenhum estudo pode dizer muito por si mesmo; variáveis ​​adicionais podem negar / reverter o efeito.
• Você precisa saber como evitar as armadilhas:
  • Leia o estudo original. O que foi realmente encontrado? Qual foi o tamanho do efeito? Como foi conduzido?
  • Não seja pego em hacks.
  • Teste você mesmo. Esteja ciente de como isso pode dar errado / sair pela culatra.

Brian Cugelman: “Consumer Psychology, Dopamine, and Conversion Design”

• A mitologia da dopamina afirma que
  • A dopamina é o neurotransmissor do prazer ou da felicidade.
  • Recompensas variáveis ​​são tão poderosas que os usuários não conseguem resistir a elas.
  • Empresas como o Facebook manipulam as pessoas com dopamina.
• Se essas afirmações fossem verdadeiras:
  • A mídia social seria puro prazer.
  • Todos seríamos viciados, fisgados por manipuladores do mal.
  • A maior parte da humanidade não teria autocontrole.
• Na realidade, a dopamina faz as pessoas se sentirem energizadas e curiosas.
  • Ele fornece uma recompensa emocional que desaparece rapidamente, deixando as pessoas insatisfeitas.
  • As pessoas se habituam aos gatilhos, que param de desencadear a dopamina.
  • Recompensas de dopamina reforçam comportamentos.
  • Pouca dopamina está associada ao comprometimento motor.
• Como ativamos a dopamina do nosso público? Forneça uma promessa ou surpresa digital :
  • Presente de boas-vindas virtual;
  • Ofertas para enriquecimento rápido;
  • Caixas misteriosas;
  • Leilões;
  • Sorteio da sorte;
  • Anúncios: “Como são essas estrelas infantis hoje”;
  • Pesquisas / questionários BuzzFeed, por exemplo, qual cachorro é você?
• Como usamos isso no marketing digital?
  • Dicas visuais de presentes e recompensas;
  • Prêmios de mistério;
  • Ganchos editoriais;
  • Proposições de valor;
  • Declarações de benefícios;
  • Qualquer sugestão de recompensa.
• O cérebro se habitua a antigas recompensas (por exemplo, cegueira de banner).
• Como você supera a habituação?
  • Ofereça mais, melhor e maior.
  • Use novidades.
  • Inclua surpresas.
  • Contenha a história completa.
  • Reduza a frequência de divulgação.
  • Adicione presentes aleatórios.
  • Reempacote os materiais de hoje.
  • Adicione inovações.
  • Use recompensas variáveis.
• Use a incerteza a seu favor:
  • Se você está distribuindo algo com frete, use uma recompensa aleatória com antecipação aumentada.
• Use o gerenciamento de expectativas, seja direto, cumpra suas promessas e você terá uma dopamina que é bem merecida.

Lukas Vermeer: ​​“Democratizing Online Experiments at Booking.com”

• Sempre que alguém lhe mostra dados, sua primeira pergunta deve ser "Onde e como esses dados foram adquiridos / coletados?"
• Algumas pessoas interpretam mal a validação baseada em dados como uma limitação à liberdade criativa.
• Na Booking, há confiança na validade dos dados e as decisões são visíveis para todos. Isso permite um processo de tomada de decisão individual e contínuo.
• “O plural da anedota não é dado” - precisamos de evidências para tomar decisões.
• Evite jogos de adivinhação (por exemplo, “Qual das duas cores de botão é melhor?”):
  • Em vez disso, deveríamos fazer testes de hipóteses, que incluem uma descrição muito mais detalhada do pensamento por trás do experimento.
  • Isso não significa que você não pode testar as cores dos botões, mas que compreende muito melhor por que está fazendo isso e quais variações deve testar.
• Modelo de hipótese: teoria, validação, objetivo.
• Desafiar sua própria compreensão do produto por meio de experimentação é fundamental:
  • Ele inverte o pensamento “todos os testes devem vencer” de cabeça para baixo - “Os testes 9/10 falham” (VWO), mas o aprendizado nunca é um fracasso.
• Encontre as menores etapas para testar rapidamente as suposições mais arriscadas.

Ryan Thomas: “Otimizando para inscrições de e-mail”

• A captura de e-mail às vezes pode funcionar contra seus objetivos principais
  • Ex. A otimização de um pop-up de concurso resultou em um aumento de mais de 300% nas inscrições de e-mail, mas a taxa de conversão de comércio eletrônico e AOV caíram
  • A solução: substituir o concurso por uma oferta que incentive a venda agora (combinação de boas-vindas e oferta de saída de um pequeno desconto)
  • Aumento semelhante nas inscrições de e-mails, além de um aumento na taxa de conversão de transações e receita
• Por que se concentrar em inscrições de e-mail?
  • Observe os dados: o tráfego de e-mail geralmente tem melhor desempenho; Exemplo de intervalo de tempo e comprimento do caminho - dois terços convertem no mesmo dia, mas menos da metade no primeiro ponto de contato
  • Construa um relacionamento com seu cliente
  • Estratégia de teste: KPI independente (improvável que entre em conflito com outros testes); Tráfego baixo: pode ser possível testar aqui quando você não tiver macroconversões suficientes; Testando como aprendizagem: experimente mensagens e motivação
• Processo ResearchXL
  • Análise Heurística
  • Mouse Tracking
  • Web Analytics
  • Teste de usuário
  • Pesquisas Qualitativas
  • Análise técnica
• Pesquisas de clientes
  • Perguntas abertas e não direcionais
  • Descubra mais sobre motivações, processo de tomada de decisão, hesitações, frustrações
• Os insights podem vir de qualquer lugar
• Correlacione pontos de dados para priorizar seu roteiro (PXL)
• Mais exemplos:
  • A otimização de um pop-up de concurso para um produto de compra frequente resultou em um aumento nas inscrições de e-mail sem afetar as métricas de comércio eletrônico
  • Adicionar uma oferta de boas-vindas onde não existia antes aumentou as inscrições de e-mail em 95% e criou um pequeno aumento na taxa de conversão de transações
• Aprendizado:
  • Alinhe sua estratégia com o que é importante para o negócio - sem métricas de vaidade.
  • Experimente diferentes táticas, ferramentas, ofertas e designs.
  • Faça sua pesquisa!

Nina Bayatti: “Foi realmente um vencedor? Os dados do funil inferior que você deve rastrear ”

• Existem inúmeras métricas que você pode monitorar:
  • Taxa de conversão;
  • Taxa de rejeição;
  • Taxa de cliques;
  • Visualizações de página;
  • Capturas de chumbo;
  • Taxa de conversão de compra.
• Mas eles não contam toda a história.
• Para chegar a conclusões confiáveis, você precisa analisar os dados do funil descendente.
• Na ClassPass, eles veem as referências como importantes para atrair novos clientes, por isso faz sentido incentivá-las.
  • Eles testaram oferecendo 10 créditos grátis para trabalhar com um amigo.
  • Os convites aumentaram 50%; Aumento de 35% na aquisição de referências.
  • Então, eles perceberam que estavam canibalizando outros canais - as pessoas convertidas como referências eram leads já adquiridos de outros canais.
• Configurando seus experimentos para o sucesso:
  • Defina as métricas de sucesso.
  • Considere todas as etapas do funil ao determinar o tamanho da amostra (ou seja, torne-a grande o suficiente para a análise do fundo do funil também).
  • Identifique e repita as alavancas do funil descendente.
  • Os incentivos funcionam, mas podem funcionar muito bem e converter pessoas que não estão realmente no serviço / produto ou canibalizar outros canais.
  • Sempre considere o impacto de seus testes vencedores em seu crescimento e custo.

Eric Allen: “Os testes perdidos também podem ser vencedores. Como avaliar e aprender com uma experiência em perda ”.

• O custo da experimentação - você espera que o lado positivo supere o custo.
• Por que dói perder? As perdas são maiores em nossa mente do que os ganhos.
• Aprendizagem sobre o conhecimento: o conhecimento é finito; projete cada experimento de forma que você possa obter aprendizados, mesmo a partir de perdas.
• Falhas no teste de redesenho do Ancestry.com:
  • Primeiro teste: aprendemos que mudamos muito, precisamos isolar variáveis.
  • Segundo teste: os consumidores não estão entendendo a diferença entre os pacotes e estão apenas selecionando o preço mais baixo.
  • Terceiro teste: as páginas da oferta são muito complexas e os consumidores estão gastando muito tempo na página.
  • Quarto teste: muitas pessoas estão aceitando um pacote de curto prazo agora.
  • Quinto teste: isso simplesmente não está funcionando. Reverta para o original.
• Aprenda a reformular a perda: “ Os testes A / B são o nosso custo de mensalidade. Custa dinheiro para aprender. ”
• Impacto do teste:
  • Taxa de execução da linha de base: $ 100 milhões por ano;
  • Aumento de teste: 10%;
  • Duração do teste: 90 dias (25%);
  • Impacto negativo: $ 2,5 milhões;
  • Receita total: $ 97,5 milhões.
• Impacto da implementação sem teste:
  • Taxa de execução da linha de base: $ 100 milhões por ano;
  • Aumento de teste: 10%;
  • Duração do teste: 12 meses;
  • Impacto negativo: $ 10 milhões;
  • Receita total: $ 90 milhões.
• Economia total com testes: US $ 7,5 milhões.
• Aprender com uma série de testes pode transformar perdas em vitórias.
• Aprendizado:
  • James Lind: Existe um custo, mas também uma vantagem.
  • Jeff Bezos: Continue fazendo experimentos.
  • Jay-Z: Perdas são lições.

Stefanie Lambert: “Conversa real: lições difíceis aprendidas ao construir um programa de otimização”

• A sensibilidade à cultura organizacional tornará a vida de todos mais fácil.
  • Se uma empresa faz as coisas de maneira diferente, isso pode significar que você tem que se encaixar.
• O diabo está nos detalhes.
  • Precisamos reiniciar um teste várias vezes por estarmos nos movendo muito rápido.
  • Para um teste simples, conectar o Google Analytics ao Google Optimize levaria alguns segundos, mas, como não fizemos, perdemos duas semanas.
• Se não tiver o backup de dados, provavelmente não funcionará.
  • Sua fila de teste deve ser composta principalmente de testes baseados em dados.
  • Uma linha de roupas queria muito mostrar a qualidade de suas roupas e tornar suas imagens maiores. Mas a ideia não veio de dados.
  • Quando mostramos imagens maiores, havia menos produtos na página, o que reduziu o CTR.
• Dados quantitativos e qualitativos são necessários para resultados excepcionais.
  • Depois de lançar um teste, ficamos desapontados com uma redução de 20% nas iniciações de formulários.
  • O novo formulário era mais bonito e funcionava bem em outras partes do site.
  • Filtramos as gravações de sessão para casos de uso do controle e da variação.
  • Na nova variação, o formulário se destacou o suficiente para que os visitantes o reconhecessem como um formulário, para que mais usuários saíssem, diminuindo o início do formulário.
• A curiosidade não matou o gato.
  • Destaque-se por se importar o suficiente para fazer perguntas difíceis. (por exemplo, “Isso é muito bom, mas poderia ser melhor?”)
  • Quando comecei, não me sentia confortável em basear grandes decisões de negócios nos dados de uma ferramenta.
  • Tive de aprender estatística para confiar nos dados.

Lizzie Eardley: “Chasing Statistical Ghosts in Experimentation”

• Fantasma estatístico: quando você acha que seu teste afetou sua métrica, mas na realidade não há impacto. Você está sendo enganado pelos dados
• Realizou 100.000 testes A / A: 60% dos testes A / A mediram uma diferença de pelo menos 1%.
• “Não estatisticamente significativo” não significa que não teve impacto, apenas que você não tem evidências suficientes para rejeitar a hipótese nula.
• Quatro causas de fantasmas estatísticos:
  • Comparações múltiplas;
  • Espreitar;
  • Métrica ruim;
  • Quase significativo.
• Comparações múltiplas:
  • É preciso levar em conta isso ajustando o valor p.
  • A chance de falso positivo se aplica a cada comparação.
  • Ex. 1 comparação: 5% de chance de falso positivo; 8 comparações, 34% de chance de falso positivo!
  • Baseie a hipótese em uma métrica principal e, em seguida, escolha as métricas secundárias.
• Espiando:
  • Analisar os dados e realizar ações antes do final predeterminado do experimento.
  • Isso pode ter um grande efeito na taxa de falsos positivos.
  • Boas razões para espiar: verifique se há bugs, evite desastres, eficiência.
• Métrica ruim:
  • Uma boa métrica é significativa, interpretável, sensível, adequada para o teste.
  • Significativo: captura o que você pretendia alterar.
  • Interpretável: Fácil de dizer como uma mudança alterou o comportamento do usuário.
  • Sensível: pode detectar mudanças menores com mais rapidez.
  • Adequado para o teste: os testes normais pressupõem independência e que o erro é normalmente distribuído.
• Quase significativo:
  • O fantasma da tentação. As pessoas querem acreditar no que esperam.
  • Não existe algo como “quase” significativo!

Emily Robinson: “6 Diretrizes para Testes A / B”

• Etapas do processo de experimentação:
  • Processar. Você não pode fazer tudo e as coisas que não está fazendo ainda são importantes.
  • Criando.
  • Analisando.
  • Tomando uma decisão. Como decidir o que fazer a seguir?
• Quanto menos dados, mais fortes são as opiniões. Nossas opiniões freqüentemente estão erradas. Não deixe os HiPPOs (Opinião da Pessoa Mais Alta Paga) matar suas ideias; experimente em vez disso.
• Comece com dados históricos: qual é a população de sua ideia de teste? Qual é a sua taxa de conversão atual e aumento estimado?
• Execute a análise de potência! Importante para determinar o ponto de parada e evitar um falso negativo. (Oitenta por cento significa que há 80% de chance de você detectar a mudança se ela estiver lá.)
• Se você tentar várias alterações ao mesmo tempo, será impossível descobrir o que não funcionou; em vez disso, trabalhe em testes incrementais menores.
  • O Etsy começou liberando todas as alterações após a conclusão dos testes.
  • Mudou para um processo mais aprofundado de implementação de alterações de teste A / B com ciclos menores.
• Crie um protótipo de ideias antes de lançá-las.
• Envolva um cientista que possa garantir que você está monitorando as métricas corretas. Eles também podem ajudá-lo com cálculos de poder e ideias de iteração.
• Tomando uma decisão:
  • Qual é a complexidade técnica e o débito que você está adicionando?
  • É uma característica fundamental?
  • Pode haver um impacto negativo pequeno demais para ser detectado?
• Tenha cuidado ao lançar no neutro - não ter uma estratégia sólida ou dados suficientes para apoiar a tomada de decisões.

Valerie Kroll: “Como apresentar resultados de testes para inspirar ação”

• Ao apresentar os dados, a pergunta-chave é "O que você quer que seu público leve consigo?"
• Fórmula do modelo:
  • Por que testamos;
  • O que testamos;
  • Resultados;
  • Aprendizagem;
  • Qual é o próximo.
• Seus slides não são sua apresentação. Você é a apresentação.
• Declare seu caso de negócios:
  • Onde você está testando isso?
  • Quem é o público?
  • O que você vai medir?
• Declare a tese. (por exemplo, “Será que um bate-papo de proposta de valor aumentará a captura de leads?”)
• Defina como o experimento foi medido:
  • Declaração de hipótese;
  • KPI primário;
  • KPIs secundários.
• Torne suas apresentações interativas: faça uma votação - pergunte às pessoas o que elas acham que ganharia.
• Apresentando resultados:
  • Impacto no KPI primário;
  • Uma visualização do KPI primário; as pessoas entenderão melhor seus resultados.
  • Segmentação para mostrar o que mais você encontrou.
  • Mantenha os aprendizados e as ações lado a lado. (Isso deve levar de 40 a 50% do seu tempo de apresentação.)
• Se algo não está adicionando à sua apresentação, ele prejudica (por exemplo, estatísticas, informações técnicas, etc.).
• Tenha um modelo previsível. As pessoas sabem o que esperar. Torna seu trabalho mais rápido.

Andre Morys: “Estamos todos indo morrer: por que a 'otimização' é a aceleração da evolução”

• Efeito Thatcher (1980, experimento ao vivo): É difícil reconhecer mudanças em uma foto de rosto de um rosto (Margaret Thatcher).
• Se você não conhece o padrão, pode não reconhecê-lo - o mesmo se aplica ao CRO.
• Você precisa mudar a perspectiva para ver a verdade por trás das coisas.
• Ex. Por que o Commerzbank está morrendo?
  • Francamente, a experiência é uma merda.
  • Mas por que? Eles têm designers, CROs, analistas
  • HiPPOs ignorantes - a gerência não sente a dor.
• “A verdade - mais precisamente, uma compreensão precisa da realidade - é a base essencial para a produção de bons resultados.”
• Não fale sobre modelos de negócios disruptivos; quem atrapalha não fala sobre isso. Eles estão muito ocupados interrompendo.
• O crescimento digital não vem da tecnologia; é baseado na ótima experiência do cliente.
• Se não houver intenção de testar a experiência do cliente, você não verá resultados.
• A otimização é por natureza ágil: o CRO produz novos dados para a equipe, a fim de provar que tudo o que a organização fez foi bom ou ruim.
• Bons otimizadores geram ideias centradas no cliente.
• A vantagem da Amazon é que eles estão continuamente gerando novos insights.
  • É uma onda - o ágil Tsunami. (Você não pode ver isso.)
• Processo de Otimização Infinity: Analisar, Priorizar, Validar.
• Mude a mentalidade de gerenciamento.
  • A gerência não se preocupa com o que mudou no site.
  • Apresente o ROI do programa de experimentação para a gerência.
  • Dica: Faça amizade com o CFO.
  • Reuniões de mesa redonda do C-Suite - permitem que a gerência discuta seus problemas e, em seguida, seja ambiciosa (ou seja, venda o programa).
  • A administração quer grandes coisas! No entanto, eles esquecem que mudanças menores geram resultados maiores (efeito composto).

John Ekman: “What's Broken in Digital Transformation (and How to Fix It)

• “Transformação digital” não é um bom objetivo:
  • As metas são “colocar o produto no mercado rapidamente” ou “bom atendimento ao cliente”.
  • Nós (erroneamente) definimos a meta de “transformação digital” quando os objetivos não deveriam mudar, apenas as ferramentas para alcançá-los.
• As cinco formas de transformação digital:
  • Digitalize o produto;
  • Envolva uma camada de serviço digital em torno do produto;
  • Digitalize processos “nos bastidores”;
  • Digitalize esforços de marketing, vendas e retenção;
  • Inove novos produtos digitais.
• Devemos selecionar e priorizar entre as cinco formas de transformação digital; até mesmo os líderes digitais podem se destacar em uma ou duas maneiras, mas não em outras.
• A liderança acha que está gastando muito dinheiro; os praticantes sentem que não têm recursos.
  • A realidade é que é o crescimento do taco de hóquei - você tem que gastar muito dinheiro antes de ver qualquer resultado (e então os resultados são exponenciais).
  • Alocar orçamento para novas iniciativas antes de alocar para iniciativas em andamento .
• Metas e avaliação desalinhadas:
  • Projetos pequenos não são organizados dentro do quadro geral.
  • Com a transformação digital, não sabemos a escala do retorno ou do investimento necessário; olhar apenas para o ROI não o impulsiona para o futuro.
  • Soluções: OKR (Google), contabilidade da inovação (Eric Ries), financiamento medido (VCs).
• Três superpoderes digitais:
  • Capacidade de (1) ouvir os clientes;
  • Quando você ouve, você pode (2) agir; caso contrário, você age com base nas informações erradas.
  • Se você tiver ambos, você pode (3) escalar; caso contrário, você dimensiona a coisa errada.

Will Critchlow: “E se seus testes de CRO vencedores estiverem atrapalhando seu tráfego de pesquisa? Ou suas mudanças de SEO estão destruindo sua taxa de conversão? ”

• A preocupação geral é que o SEO vá atrapalhar o CRO, e não vice-versa.
  • O CRO lida com a parte inferior do funil (mais pessoas convertendo para vendas).
  • O SEO lida com a parte superior do funil (adicionando mais pessoas ao funil).
• Muitas páginas de CRO não são indexadas, mas muitas são - e os testes de CRO podem prejudicar o tráfego orgânico. (Nós vimos isso acontecer.)
• Experiência: SEOs e profissionais de marketing não digital foram solicitados a avaliar qual das duas páginas poderia ter uma classificação mais elevada:
  • Ninguém conseguiu atingir 50% de acerto na previsão.
  • Os SEOs eram apenas marginalmente melhores do que os não-SEOs.
• Então, como podemos fazer melhores previsões? Teste de SEO (DistilledODN).
• Mudanças que funcionam para um nicho podem não funcionar para outro - temos que testar.
  • As “melhores práticas” de SEO são específicas do site / setor.
• UX é um fator de classificação (talvez):
  • O Google treina modelos de aprendizado de máquina para que gostem das mesmas coisas que as pessoas gostam.
  • Mas o Google não é perfeito - toda mudança de algoritmo não atinge esse objetivo, mas é isso que eles estão tentando fazer.
  • Portanto, devemos construir hipóteses de SEO a partir dos fundamentos de UX.
• Em última análise, precisamos - e iremos nos beneficiar - testar o impacto de SEO e CRO ao mesmo tempo. Estamos no mesmo time.

Brennan Dunn: “How To Deliver Fully Personalized Experiences At Scale”

• Muitas pessoas “pensam” que personalizam, mas há muita personalização inútil por aí.
• Coisas que eu realmente quero ser personalizado: minha intenção, minhas ações, meu nível de conhecimento.
• Dois empregos principais para segmentação:
  • Tornar sua mensagem mais relevante, mais específica;
  • Usando segmentação para melhorar os relatórios.
• Na segmentação, as duas coisas que me importam são o “quem” e o “o quê”: “Eu sou um [em branco] e preciso de sua ajuda com [em branco].”
• Como segmentar pessoas automaticamente:
  • Intenção / Comportamento
    1. Quais são os últimos 10 a 20 artigos que alguém leu em nosso site?
    2. Páginas de destino originais.
    3. Anúncio em que clicaram (especialmente verdadeiro para anúncios no Facebook).
    4. Referências.
  • Ações
    1. Compras.
    2. Ímãs de chumbo.
    3. Webinars.
  • pesquisas
    1. Links de gatilho: “Em que você está mais focado agora?”
    2. Pesquisas. “O que você pretende fazer em nosso site hoje?”
    3. Pesquisas hospedadas.
  • Clearbit
• E se você não souber como deve segmentar?
  • Quando alguém se inscreve em um curso por e-mail ou baixa um lead magnet, pergunte imediatamente. (por exemplo, “O que você precisa obter com este curso por e-mail?”)
• Com a personalização, podemos usar mensagens de nicho sem realmente ser um nicho de negócios.
• Menos pensamento, mais engajamento = mais conversões.
• No final das contas, a personalização é relevante.

Chad Sanderson: “Aligning Experimentation Across Product Development and Marketing”

• Às vezes, os departamentos de marketing e engenharia desejam fazer experimentos paralelos e se deparar com conflitos.
• Pessoas mais próximas do produto têm mais influência no negócio.
• Diferentes tipos de empresas: Tech First (Bing, LinkedIn), Second (Booking.com, Grubhub), Third (Sephora, Target).
• Dependendo do tipo de negócio, você tem diferenças:
  • Otimização. O recurso não existiria sem a ferramenta de experimentação; o design do experimento pode ocorrer fora do ciclo de sprint.
  • Validação. O recurso existiria independentemente da experimentação; o design do experimento faz parte do ciclo de desenvolvimento.
• O grande redesenho do Snapchat foi atingido em 83% nas avaliações dos usuários - um exemplo de uma catástrofe que um processo baseado em validação poderia ter evitado.
• A velocidade da página mata. A otimização está matando as taxas de conversão em 5% ou mais? As tecnologias de experimentação do lado do cliente não conseguem aumentar a latência em nada menos que 1000 ms. Cada latência de 100 ms causa uma redução de 0,5% no RPV.
• Passos para o sucesso:
  • Entenda sua estrutura atual: otimização ou validação.
  • Descubra onde está faltando sua cobertura. O ROI é rastreado? O produto é enviado com experimentos?
  • Faça a ponte entre as pessoas e departamentos - obtenha metas mútuas para as métricas do programa.
  • Estabeleça um fórum para compartilhar resultados e trabalhar em projetos conjuntos (resultados em nível de programa global, não em testes individuais).
  • Reuniões mensais para revisar métricas de forma consistente e resolver forças opostas.

Natasha Wahid: “How to Get Your Organisation Psyched About Experimentation”

• A cultura é um fator de experimentação bem-sucedida. Considere este cenário:
  • Um campeão de otimização de uma mulher começa a buscar ideias de todos para experimentação.
  • Ela tem toneladas de ideias, mas porque ela é um show de uma mulher, ela fica afundada na neve.
  • Depois de um tempo, torna-se uma piada - um lugar onde as ideias morrem.
• Como podemos melhorar?
  • Inspire - a centelha. Motive as pessoas para agirem.
  • Educar - treinar. Formal ou informal.
  • Informar - comunicar conhecimento, ação.
• A equipe principal é dona do programa. Eles estão focados em obter a adesão dos executivos e construir o ímpeto.
• Ex. Enviado
  • Michelle destacou o que faltava à empresa ao não otimizar seus funis principais.
  • Recrutou um engenheiro-chefe e um designer. Eles também trouxeram um parceiro capacitador de uma agência externa.
  • Todos puderam ver o impacto do experimento. O engenheiro codificou a variação vencedora imediatamente.
• Ex. Quadrado
  • Uma das equipes de produto de maior visibilidade havia passado por uma reformulação que fracassou.
  • Organizou workshops com o objetivo de mudar a mentalidade das pessoas em relação à experimentação.
  • Focado em fomentar a colaboração, perguntando às equipes se havia ideias de outros experimentos que podem ser relevantes para a equipe atual.
• Modelo RACI:
  • R - responsável - fazendo o trabalho real;
  • A - responsável - dono do projeto;
  • C - consultor - fornecendo informações sobre a gestão do processo;
  • I - informação - pessoas que só precisam se manter informadas.
• Exemplo de comunicação RACI:
  • Proprietário: campeão de experimentação;
  • Mensagem: Experimento X foi lançado;
  • Canal: notificação do Slack;
  • Público: Equipe de engenharia;
  • Tempo: automaticamente quando o experimento é iniciado na ferramenta.

Conclusão

Este post é de 21 sessões de meia hora condensadas em menos de 5.000 palavras. Se você deseja a experiência completa - dentro e fora das sessões da conferência - você simplesmente precisa estar presente.

As boas notícias? Você não precisa esperar um ano inteiro. Join us at Digital Elite Camp in Estonia on June 13–15.