CXL Live 2019 요약: 모든 연사로부터의 시사점

게시 됨: 2021-07-22

그림 같은 리조트에서 3일 동안 24명의 연사를 모십니다. 400명의 새로운 얼굴과 새로운 얼굴, 많은 대화, 라이브 음악 및 몇 가지 이상의 맥주를 추가하십시오. CXL 라이브는 경험입니다.

이것 또한 있었습니다: 성장…성장의 모든 비밀을 알려준 우리의 오프닝 비디오:

놓친 부분이 궁금하다면 올해 CXL Live의 각 세션에서 하이라이트를 확인하세요.

Els Aerts: "질문을 하는 방법을 잃어버린 기술"

  • 설문 조사는 좋지 않지만 대부분의 설문 조사는 좋지 않습니다. 다음과 같은 경우 작동할 수 있습니다.
    • 당신은 당신의 연구 질문을 올바르게 이해합니다.
    • 당신은 "숫자"를 제시하는 데 집중하지 않고 정보를 제시 합니다.
  • 올바른 질문을 하는 방법:
    • 미래에 대해 묻지 마십시오(예: "기능 X를 추가했다면 Y를 구매할 가능성이 얼마나 됩니까?). 당신의 사용자는 초능력자가 아닙니다.
    • 너무 먼 과거에 대해 묻지 마십시오. 인간의 기억은 매우 신뢰할 수 없습니다.
    • 주도적인 질문을 하지 마십시오. (예: 어떤 것이 얼마나 "좋았는지" 묻지 말고, 얼마나 "좋았는지, 나빴는지" 또는 단순히 "어떻게" 묻습니다.)
  • 부정적인 쪽으로 편향된 질문은 더 많은 피드백을 제공할 수 있습니다(예: "얼마나 힘들었는지...").
  • 설문조사를 제공하는 장소와 시기는 결과에 영향을 미칠 수 있습니다. 사용자가 고통을 겪고 있는 사이트 섹션인 경우 응답이 편향됩니다.
  • 확인 및 감사 페이지는 사람들에게 질문을 할 수 있는 좋은 기회입니다. (예: 경쟁사를 고려했습니까? 그렇다면 경쟁사보다 우리를 선택하게 만든 우리의 특성은 무엇입니까?)
  • 인터뷰를 설정할 때 인터뷰가 아닌 "채팅"이라고 부르고 채팅처럼 취급하십시오. 대화가 어디로 갈지 예상하고 듣고, 듣고, 들으십시오.

Joanna Wiebe: "거울 쓰기: 고객의 목소리를 사용하여 전환율이 높은 카피를 작성하는 방법"

  • 카피라이팅의 90%는 듣기입니다.
  • 목표는 사람들이 현재 자신과 바로 다음 자신을 볼 수 있는 사본을 작성하는 것입니다.
  • 카피 검증: 이것이 돌파구 또는 실패작이 될 수 있습니까? 완전한 돌파구를 마련할 만큼 충분히 추진하고 있습니까? 아니면 절대적으로 끔찍합니까?
  • 고객 데이터 음성의 표준 소스를 넘어 ; 더 나은 옵션은 다음과 같습니다.
    • 인터뷰 설립자(원래 "고객")
    • 감사 페이지 설문조사;
    • Usertesting.com;
    • 광산 판매 전화;
    • 광산 지원 티켓;
    • 내 페이스북 댓글;
    • 내 온라인 리뷰.
  • 설립자 인터뷰를 통해 스토리, 가치 제안 및 큰 아이디어를 찾을 수 있습니다.
    • 인터뷰를 비디오로 촬영하고 녹음하십시오(허가 하에).
    • 인터뷰를 필사하십시오(rev.com).
    • 형광펜으로 대본을 인쇄하고 읽으십시오. 눈에 띄는 것은 무엇입니까? 무엇이 다른가?
  • 영업 통화 및 데모 녹음은 커뮤니케이션 시퀀스, 계층 구조를 구성하고 사본을 고정하는 데 도움이 될 수 있습니다.
    • 잠재 고객이 실제로 어떻게 생각하는지 흐름에 대한 통찰력을 얻으십시오.
    • 데모를 보면서 그들의 표정을 지켜보십시오.
    • 잠재 고객이 말하는 부분으로 건너뜁니다.
    • "다큐멘터리 스타일"의 순간을 지켜보십시오. (예를 들어, 당신이 누군가에게 대본을 주면 그들이 그것을 연기할 수 있습니까? 좋은 순간입니다.)
    • "I'm 걱정되는..." 및 "... 보여줄 수 있나요?"와 같은 문구를 확인하세요.
    • 사본에 사용할 수 있도록 찾은 내용에 태그를 지정합니다(#이의 제기 #후기 등).

Carrie Bolton: “고객 및 경영진과 현실화 - 고객 경험을 실제로 개선하는 방법

  • 고객 경험은 비즈니스와의 상호 작용에 대한 고객의 인식입니다.
  • Vanguard는 고객 경험에 중점을 두는 것이 경쟁업체와 차별화하는 데 도움이 될 것이라고 결정했습니다.
    • 고객 경험을 사용자 정의하고 개인화하는 실험을 설정합니다.
    • 전의. 고객은 전화를 피하기 위해 온라인에 접속합니다. 페이지를 재구축하여 보다 실험 친화적이고 고객 통화율을 목표로 낮춥니다.
  • 케이스를 외부에서 만드는 방법:
    • 업계 또는 동급 최고의 회사(예: USAA, CIGNA)로부터 경쟁력 있는 정보를 얻으십시오.
    • 포레스터 리서치;
    • 고객 경험 블로그.
  • 내부적으로 케이스를 만드는 방법:
    • 고객의 정량적 또는 정성적 조사(예: 디지털 분석, 시장 조사).
    • "사람들과 이야기하는 사람들과 이야기하십시오."
    • 재무 담당자와 대화: 어떤 성과 지표가 주목을 받습니까?
  • 판매하지 마십시오.
  • 당신이 "판매"할 때 사람들은 그것을 통해 바로 봅니다.
  • 고객 설문조사와 피드백은 그들에게 무엇을 "말해야" 하는지를 아는 데 도움이 되는 정직하고 필요한 피드백을 드러낼 수 있습니다.

유다 필립스: "기계 학습에 대한 걱정을 멈추고 AI를 사랑하는 법을 배운 방법"

  • 인공 지능은 분석가가 결정을 내릴 때 백미러가 아니라 앞을 내다볼 수 있는 능력을 제공합니다.
  • 우리는 현재 Pragmatic AI(예: Siri, Alexa)의 시작 단계에 있습니다.
  • AI는 작업장에도 진출하고 있습니다(예: 추천 엔진, 챗봇, 협업을 위한 자동 제안).
  • AI는 과거 데이터(훈련 데이터)를 취하고 해당 데이터의 과거 성과로부터 학습하는 모든 것입니다. 일반적으로 이것은 지도 머신 러닝입니다.
  • 딥 러닝은 신경망의 개념입니다. 기대가 너무 큰 부분입니다.
    • CNN(Convolutional Neural Networks)은 이미지 및 비디오 인식에 사용됩니다.
    • 순환 신경망은 시계열 데이터에 적합합니다.
    • GAN(Generative Adversarial Networks)은 다른 데이터와 이를 훈련하는 사진에서 가짜 데이터와 이미지를 만드는 데 능숙합니다.
  • AI로 할 일:
    • 이탈을 예측합니다.
    • 개인에게 보낼 제안을 식별합니다.
    • 혁신을 가속화하십시오.
    • 콘텐츠 개인화
    • 계정 기반 마케팅;
    • 알고리즘 속성
    • 미래 상승도 예측
    • 비난을 예측하십시오.
  • 모델이 수행하는 작업(반드시 기본 알고리즘은 아님)을 이해하고 모델을 적용할 시기와 결과를 해석하는 방법을 아는 것은 분석가에게 필요한 기술입니다.
  • 자동화된 기계 학습은 데이터가 너무 많고 시간이 부족한 문제를 해결하는 데 도움이 됩니다.
    • 자동화된 기계 학습은 몇 분 안에 높은 정확도로 예측합니다.
    • 역사적으로 그것은 비쌌습니다. 더 이상은 아닙니다. Codeless AI를 사용하면 오늘 바로 그렇게 할 수 있습니다.

톤 웨셀링: "모든 조직에서 검증"

  • CRO 작업이 중단되는 이유: 팀은 서로 다른 속도로 운영됩니다.
    • 전환 팀: 6-8주 실험 주기;
    • 마케팅 팀: 준비, 캠페인, 준비, 캠페인
    • 제품 팀: 2주 스프린트.
  • 전환/최적화 팀은 마케팅 및 제품 팀에게 악몽이 될 수 있습니다.
  • 최적화 팀은 (너무 많은) 자부심을 가지고 있습니다.
    • 그들은 다른 팀에게 그들이 무엇을 잘못하고 있는지 알려줍니다.
    • 독선적이고 지나치게 비판적일 수 있습니다.
    • 최적화 팀은 더 겸손해야 합니다.
  • 최적화 팀을 없애는 것이 실제로 좋은 생각인 이유:
    • 누수 버킷을 최적화하고 있습니까? 제품 및 마케팅 팀이 참여해야 합니다.
    • "전환율 최적화"라는 용어는 실제로 우리가 하는 일을 설명하는 것이 아니라 고객이 비즈니스 목표를 달성하도록 돕습니다.
    • 왜 우리는 항상 웹에 집중합니까? 이메일, 소셜 등을 최적화하는 것도 최적화입니다.
  • 최적화 는 영향을 미치려는 KPI입니다.
    • 여기에는 때때로 클릭, 행동, 사용자당 거래 등이 포함됩니다.
    • 잠재적인 평생 가치를 위해 최적화해야 합니다. 모든 팀이 최적화할 수 있는 보편적인 KPI가 있어야 합니다.
  • 최적화는 더 많은 결과를 얻는 효과에 관한 것입니다.
    • 어떻게 해야 하나요? 모든 부서는 "우수성 검증 센터"를 만들기 위해 협력해야 합니다.
    • 회사의 핵심에서 증거 기반 성장을 가능하게 하십시오. 제품 팀이 통계에 대해 걱정할 필요가 없도록 연구를 민주화하십시오.
    • 구현 우선 순위 = 증거 품질 x 공유 목표에 대한 잠재적 영향.
  • 밀어붙이지 마십시오. 인에이블러가 됩니다.

Tammy Duggan-Herd: "미지의 함정: 심리학의 오용이 전환율을 손상시키는 방법"

  • 인간의 행동을 이해하는 것은 복잡하며 그에 따라 행동하는 것은 훨씬 더 복잡합니다.
  • 잘못된 원칙을 따르면 전환, 마케팅 및 브랜드에 피해를 줄 수 있습니다.
  • 문제의 근본 원인은 연구가 대중에게 전달되는 방식입니다.
    • 미디어/학술 저널에서 주목받는 자료를 생산해야 한다는 압박을 받고 있는 연구원으로 시작합니다.
    • 과학 저널의 거부율은 70%이며, 이를 반영하는 경우는 거의 없습니다.
    • 무언가가 출판되면 보도 자료는 정확성이 아니라 홍보에 초점을 맞춥니다.
    • 언론은 계속해서 주장을 확장하고 있습니다. 블로거들은 문제를 더 악화시킵니다.
    • 궁극적으로 우리는 Twitter에서 소비합니다. 20페이지가 160자로 줄어듭니다.
  • 이것은 전화 게임입니다. 가장 좋은 시나리오는 왜곡된 정보가 효과가 없다는 것입니다. 최악의 시나리오는 반대 효과를 생성하는 것입니다.
  • 무의식적인 실무자의 함정:
    • 지나친 단순화. 미디어는 간결하고 눈에 잘 띄어야 하기 때문에 결과를 단순화합니다. 한정자와 뉘앙스가 삭제됩니다.
    • 효과의 크기를 과대평가합니다. 통계적 유의성은 실제적 유의성, 즉 효과의 크기 와 같지 않습니다.
    • 과잉 일반화. 대부분의 연구는 실험실(대표가 아님)에서 학부생을 대상으로 하기 때문에 필요한 연구 제한을 종종 무시합니다.
    • 결과를 분리합니다. 미디어는 단일 결과를 결정적인 것으로 취급합니다. 단일 연구만으로는 많은 것을 말할 수 없습니다. 추가 변수는 효과를 무효화/역전시킬 수 있습니다.
  • 다음과 같은 함정을 피하는 방법을 알아야 합니다.
    • 원본 연구를 읽으십시오. 실제로 무엇을 찾았습니까? 효과의 크기는 무엇이었습니까? 어떻게 진행되었나요?
    • 해킹에 휘말리지 마십시오.
    • 직접 테스트하십시오. 그것이 어떻게 잘못될 수 있는지/역효과를 낼 수 있는지 알고 있어야 합니다.

Brian Cugelman: "소비자 심리학, 도파민 및 전환 디자인"

  • 도파민 신화는 다음과 같이 주장합니다.
    • 도파민은 쾌락 또는 행복 신경 전달 물질입니다.
    • 가변 보상은 사용자가 거부할 수 없을 정도로 강력합니다.
    • Facebook과 같은 회사는 도파민으로 사람들을 조종합니다.
  • 이러한 주장이 사실이라면:
    • 소셜 미디어는 순수한 즐거움이 될 것입니다.
    • 우리는 모두 사악한 조종자에게 푹 빠져 중독자가 될 것입니다.
    • 대부분의 인류는 자제력이 부족할 것입니다.
  • 실제로 도파민은 사람들로 하여금 활력과 호기심을 갖게 합니다.
    • 그것은 빠르게 사라지는 감정적 보상을 제공하여 사람들을 불만족스럽게 만듭니다.
    • 사람들은 도파민 유발을 멈추는 유발 요인에 익숙해집니다.
    • 도파민 보상은 행동을 강화합니다.
    • 너무 적은 도파민은 운동 장애와 관련이 있습니다.
  • 청중의 도파민을 어떻게 유발합니까? 디지털 약속 또는 놀라움 제공 :
    • 가상 환영 선물;
    • 부자가 되는 빠른 제안;
    • 미스터리 박스;
    • 경매;
    • 추첨;
    • 광고: "오늘날 이 아역 스타들의 모습";
    • BuzzFeed 설문조사/퀴즈, 예: 당신은 어떤 개입니까?
  • 디지털 마케팅에서 이것을 어떻게 사용합니까?
    • 선물 및 보상에 대한 시각적 힌트
    • 미스터리 상품;
    • 편집 후크;
    • 가치 제안;
    • 혜택 명세서;
    • 보상의 모든 힌트.
  • 뇌는 오래된 보상에 익숙해집니다(예: 배너 실명).
  • 습관화를 어떻게 극복합니까?
    • 더 많이, 더 좋게, 더 크게 제공하십시오.
    • 참신함을 사용하십시오.
    • 놀라움을 포함하십시오.
    • 전체 이야기를 보류하십시오.
    • 전도 빈도를 줄입니다.
    • 무작위 선물을 추가합니다.
    • 오늘의 재료를 다시 포장하십시오.
    • 혁신을 추가합니다.
    • 가변 보상을 사용하십시오.
  • 불확실성을 유리하게 활용하십시오.
    • 배송과 함께 무언가를 제공하는 경우 기대감을 높이고 무작위 보상을 사용하십시오.
  • 기대 관리를 사용하고, 간단하고, 약속을 이행하면 충분한 가치가 있는 도파민을 갖게 됩니다.
(이미지 출처)

Lukas Vermeer: ​​"Booking.com에서 온라인 실험 민주화"

  • 누군가가 데이터를 보여줄 때마다 첫 번째 질문은 "이 데이터는 어디서 어떻게 수집/수집되었습니까?"여야 합니다.
  • 어떤 사람들은 데이터 기반 검증을 창작의 자유에 대한 제한으로 오해합니다.
  • Booking에서는 데이터의 유효성을 신뢰하며 모든 사람이 결정을 볼 수 있습니다. 이는 지속적이고 개별적인 의사 결정 프로세스를 가능하게 합니다.
  • "일화의 복수형은 데이터가 아닙니다" - 결정을 내리기 위해서는 증거 가 필요합니다.
  • 추측 게임을 피하십시오(예: "두 버튼 색상 중 어느 것이 더 낫습니까?"):
    • 우리는 대신 실험 이면의 생각에 대한 훨씬 더 자세한 설명을 포함하는 가설 테스트를 수행해야 합니다.
    • 버튼 색상을 테스트할 수 없다는 의미는 아니지만 테스트를 수행하는 이유 와 테스트해야 하는 변형에 대해 훨씬 더 잘 이해하고 있다는 의미입니다.
  • 가설 템플릿: 이론, 검증, 목표.
  • 실험을 통해 제품에 대한 자신의 이해에 도전하는 것이 중요합니다.
    • "9/10 테스트는 실패합니다"(VWO)라는 거꾸로 생각하는 "모든 테스트는 이겨야 합니다"를 뒤집지만 학습은 결코 실패가 아닙니다.
  • 가장 위험한 가정을 신속하게 테스트하기 위한 가장 작은 단계를 찾으십시오.
(이미지 출처)

Ryan Thomas: "이메일 가입 최적화"

  • 이메일 캡처가 기본 목표에 어긋나는 경우가 있습니다.
    • 전의. 컨테스트 팝업을 최적화하면 이메일 가입이 300% 이상 증가했지만 전자 상거래 전환율과 AOV는 떨어졌습니다.
    • 수정 사항: 지금 판매를 장려하는 제안으로 콘테스트를 교체합니다(소액 할인의 환영 및 종료 제안 조합)
    • 비슷한 수준의 이메일 가입 증가와 거래 전환율 및 수익 증가
  • 이메일 가입에 집중하는 이유는 무엇입니까?
    • 데이터를 살펴보십시오. 이메일 트래픽이 가장 잘 수행되는 경우가 많습니다. 시간 지연 및 경로 길이 예 - 2/3는 같은 날 전환하지만 첫 번째 터치 포인트에서는 절반 미만
    • 고객과의 관계 구축
    • 테스트 전략: 독립적인 KPI(다른 테스트와 충돌할 가능성 없음); 낮은 트래픽: 매크로 전환이 충분하지 않은 경우 여기에서 테스트할 수 있습니다. 학습으로서의 테스트: 메시징 및 동기 부여 시도
  • ResearchXL 프로세스
    • 휴리스틱 분석
    • 마우스 추적
    • 웹 분석
    • 사용자 테스트
    • 정성적 조사
    • 기술적 분석
  • 고객 설문조사
    • 개방형, 비선도적 질문
    • 동기, 의사 결정 과정, 망설임, 좌절에 대해 알아보십시오.
  • 인사이트는 어디에서나 얻을 수 있습니다.
  • 로드맵(PXL)의 우선 순위를 지정하기 위해 데이터 포인트를 연관시킵니다.
  • 더 많은 예:
    • 자주 구매하는 제품에 대한 컨테스트 팝업을 최적화하면 전자상거래 측정항목에 영향을 미치지 않으면서 이메일 가입이 증가했습니다.
    • 이메일 가입이 95% 증가하고 거래 전환율이 약간 상승하기 전에는 존재하지 않았던 환영 제안을 추가했습니다.
  • 테이크아웃:
    • 허영 메트릭이 아닌 비즈니스에 중요한 것에 전략을 맞추십시오.
    • 다양한 전술, 도구, 제안 및 디자인을 시도하십시오.
    • 연구를 하세요!

Nina Bayatti: "정말 승자였나요? 추적해야 하는 다운 퍼널 데이터"

  • 모니터링할 수 있는 수많은 측정항목이 있습니다.
    • 전환율;
    • 이탈률;
    • 클릭률;
    • 페이지뷰;
    • 리드 캡처;
    • 구매 전환율.
  • 그러나 그들은 전체 이야기를 말하지 않습니다.
  • 확실한 결론에 도달하려면 하위 퍼널 데이터를 분석해야 합니다.
  • ClassPass에서 그들은 새로운 고객을 유치하는 데 추천이 중요하다고 생각하므로 추천을 장려하는 것이 합리적입니다.
    • 그들은 친구와 함께 운동할 때 10개의 무료 크레딧을 제공하는 것을 테스트했습니다.
    • 초대가 50% 증가했습니다. 추천 획득이 35% 증가합니다.
    • 그런 다음 그들은 다른 채널을 잠식하고 있음을 알게 되었습니다. 추천으로 전환하는 사람들은 이미 다른 채널에서 얻은 리드였습니다.
  • 성공을 위한 실험 설정:
    • 성공 지표를 정의합니다.
    • 샘플 크기를 결정할 때 모든 깔때기 단계를 고려하십시오(즉, 깔때기 하단 분석을 위해 충분히 크게 만드십시오).
    • 다운 퍼널 레버를 식별하고 반복합니다.
    • 인센티브는 효과가 있지만 너무 잘 작동하여 실제로 서비스/제품에 관심이 없는 사람들을 전환시키거나 다른 채널을 잠식할 수 있습니다.
    • 항상 테스트에서 승리한 것이 성장 과 비용 에 미치는 영향을 고려하십시오 .

Eric Allen: “시험에서 지는 것도 승자가 될 수 있습니다. 패배한 실험에서 가치를 부여하고 배우는 방법.”

  • 실험 비용—비용보다 긍정적인 효과가 더 크길 바랍니다.
  • 지는게 왜 아플까? 우리 마음에는 이익보다 손실이 더 큽니다.
  • 지식을 통한 학습: 지식은 유한합니다. 손실에서도 학습을 이끌어낼 수 있는 방식으로 모든 실험을 설계하십시오.
  • Ancestry.com 재설계 테스트 실패:
    • 첫 번째 테스트: 변수를 분리하는 데 필요한 변경 사항이 너무 많다는 것을 배웠습니다.
    • 두 번째 테스트: 소비자는 패키지의 차이점을 이해하지 못하고 가장 저렴한 가격만 선택합니다.
    • 세 번째 테스트: 제안 페이지가 너무 복잡하고 소비자가 페이지에서 너무 많은 시간을 보내고 있습니다.
    • 네 번째 테스트: 너무 많은 사람들이 지금 단기 패키지를 사용하고 있습니다.
    • 다섯 번째 테스트: 이것은 작동하지 않습니다. 원본으로 되돌립니다.
  • 손실을 재구성하는 방법을 배우십시오: “ A/B 테스트는 등록금입니다. 배우려면 돈이 듭니다. "
  • 테스트의 영향:
    • 기준 실행률: 연간 1억 달러;
    • 테스트 상승도: 10%;
    • 테스트 기간: 90일(25%);
    • 부정적인 영향: 250만 달러;
    • 총 수익: 9,750만 달러.
  • 테스트 없는 구현의 영향:
    • 기준 실행률: 연간 1억 달러;
    • 테스트 상승도: 10%;
    • 시험 기간: 12개월;
    • 부정적인 영향: 천만 달러;
    • 총 수익: 9000만 달러.
  • 테스트를 통한 총 절감액: 750만 달러.
  • 일련의 테스트를 통해 학습하면 손실을 승리로 바꿀 수 있습니다.
  • 테이크아웃:
    • James Lind: 비용이 들지만 장점도 있습니다.
    • Jeff Bezos: 실험을 계속 진행하십시오.
    • Jay-Z: 손실은 교훈입니다.

Stefanie Lambert: "Real Talk: 최적화 프로그램을 구축할 때 배운 힘든 교훈"

  • 조직 문화에 대한 민감성은 모든 사람의 삶을 더 쉽게 만듭니다.
    • 회사가 다른 방식으로 일을 하는 경우, 귀하 가 그에 부합해야 한다는 것을 의미 할 수 있습니다.
  • 악마는 디테일에 있다.
    • 너무 빨리 움직여서 테스트를 여러 번 다시 시작해야 했습니다.
    • 간단한 테스트의 경우 Google 애널리틱스와 Google 최적화 도구를 연결하는 데 몇 초가 걸렸지만 연결하지 않았기 때문에 2주를 낭비했습니다.
  • 데이터로 뒷받침되지 않으면 아마도 작동하지 않을 것입니다.
    • 테스트 대기열은 대부분 데이터 기반 테스트여야 합니다.
    • 의류 라인은 의류의 품질을 보여주고 이미지를 크게 만들고 싶었습니다. 그러나 아이디어는 데이터에서 나온 것이 아닙니다.
    • 더 큰 이미지를 표시했을 때 페이지에 있는 제품이 적어 CTR이 낮아졌습니다.
  • 탁월한 결과를 위해서는 양적 및 질적 데이터가 필요합니다.
    • 테스트를 시작한 후 양식 시작이 20% 감소하여 실망했습니다.
    • 새 양식은 더 보기 좋았고 사이트의 다른 곳에서도 잘 작동했습니다.
    • 제어 및 변형의 사용 사례에 대해 세션 기록을 필터링했습니다.
    • 새로운 변형에서는 방문자가 양식으로 인식할 수 있을 정도로 양식이 차별화되어 더 많은 사용자가 떠나고 양식 시작이 감소합니다.
  • 호기심은 고양이를 죽이지 않았습니다.
    • 어려운 질문을 할 만큼 주의를 기울여 눈에 띄게 하세요. (예: "정말 좋은데 더 좋을 수 있을까요?")
    • 처음 시작할 때 도구의 데이터를 기반으로 대규모 비즈니스 결정을 내리는 것이 불편했습니다.
    • 나는 데이터를 신뢰하기 위해 통계를 배워야 했다.

Lizzie Eardley: "실험에서 통계적 유령을 쫓다"

  • 통계적 유령: 테스트가 메트릭에 영향을 미쳤다고 생각하지만 실제로는 영향이 없습니다. 당신은 데이터에 속고 있습니다
  • 100,000 A/A 테스트 실행: A/A 테스트의 60%가 1% 이상의 차이를 측정했습니다.
  • "통계적으로 유의하지 않음"은 영향이 없었다는 의미가 아니라 귀무 가설을 기각할 충분한 증거가 없다는 의미입니다.
  • 통계적 유령의 네 가지 원인:
    • 다중 비교;
    • 엿보기;
    • 잘못된 메트릭;
    • 거의 중요합니다.
  • 다중 비교:
    • p-값을 조정하여 이를 설명해야 합니다.
    • 위양성 기회는 각 비교에 적용됩니다.
    • 전의. 1 비교: 위양성 확률 5%; 8번 비교, 위양성 확률 34%!
    • 하나의 주요 지표를 기반으로 가설을 세운 다음 보조 지표를 선택합니다.
  • 엿보기:
    • 미리 정해진 실험 종료 전에 데이터를 보고 조치를 취합니다.
    • 이것은 위양성 비율에 큰 영향을 미칠 수 있습니다.
    • 엿봐야 하는 좋은 이유: 버그 확인, 재해 방지, 효율성
  • 잘못된 측정항목:
    • 좋은 메트릭은 의미 있고 해석 가능하며 민감하고 테스트에 적합합니다.
    • 의미: 변경하려는 내용을 캡처합니다.
    • 해석 가능: 변경 사항이 사용자 행동을 어떻게 변경했는지 쉽게 알 수 있습니다.
    • Sensitive: 작은 변화를 더 빨리 감지할 수 있습니다.
    • 검정에 적합: 정규 검정은 독립성을 가정하고 해당 오류는 정규 분포를 따릅니다.
  • 거의 중요:
    • 유혹의 유령. 사람들은 자신이 바라는 것을 믿고 싶어합니다.
    • "거의" 중요하다는 것은 없습니다!
(이미지 출처)

Emily Robinson: "A/B 테스트를 위한 6가지 지침"

  • 실험 과정의 단계:
    • 방법. 모든 것을 할 수는 없고 하지 않는 일도 여전히 중요합니다.
    • 생성 중.
    • 분석하는.
    • 의사 결정. 다음에 무엇을 할 것인지 결정하는 방법은 무엇입니까?
  • 데이터가 적을수록 의견이 더 강해집니다. 우리의 의견은 종종 틀립니다. HiPPO(Highest Paid Person's Opinion)가 당신의 아이디어를 죽이게 두지 마십시오. 대신 실험하십시오.
  • 과거 데이터로 시작하십시오. 테스트 아이디어의 모집단은 얼마입니까? 현재 전환율과 예상 증가율은 얼마입니까?
  • 전력 분석을 실행하십시오! 중지 지점을 결정하고 위음성을 피하는 데 중요합니다. (80%는 변경 사항이 있는 경우 이를 감지할 확률이 80%임을 의미합니다.)
  • 한 번에 여러 변경을 시도하면 무엇이 작동하지 않았는지 파악하는 것이 불가능합니다. 대신 더 작은 증분 테스트에서 작업하십시오.
    • Etsy는 테스트가 끝난 후 모든 변경 사항을 공개하는 것으로 시작했습니다.
    • 더 작은 주기로 A/B 테스트 변경 사항을 구현하기 위해 보다 심층적인 프로세스로 이동했습니다.
  • 아이디어를 발표하기 전에 프로토타입을 만드십시오.
  • 올바른 지표를 추적하고 있는지 확인할 수 있는 과학자를 참여시키십시오. 그들은 또한 거듭제곱 계산과 아이디어 반복에 도움을 줄 수 있습니다.
  • 의사 결정:
    • 추가하는 기술적 복잡성과 부채는 무엇입니까?
    • 기본 기능인가요?
    • 감지하기에는 너무 작은 부정적인 영향이 있을 수 있습니까?
  • 의사 결정을 뒷받침할 확실한 전략이나 충분한 데이터가 없는 중립적인 상태에서 시작하지 않도록 주의하십시오.

Valerie Kroll: "행동을 고무시키기 위해 테스트 결과를 제시하는 방법"

  • 데이터를 제시할 때 핵심 질문은 "청중이 무엇을 가지고 떠나기를 바라는가?"입니다.
  • 템플릿 공식:
    • 우리가 테스트한 이유;
    • 우리가 테스트한 것;
    • 결과;
    • 학습;
    • 무엇 향후 계획.
  • 슬라이드는 프레젠테이션이 아닙니다. 당신은 프레젠테이션입니다.
  • 귀하의 비즈니스 사례를 진술하십시오:
    • 이거 어디서 테스트해?
    • 청중은 누구입니까?
    • 무엇을 측정할 것인가?
  • 논문을 발표합니다. (예: "가치 제안 채팅 프롬프트가 리드 캡처를 증가시킬까요?")
  • 실험 측정 방법을 정의합니다.
    • 가설 진술;
    • 기본 KPI;
    • 2차 KPI.
  • 인터랙티브한 프레젠테이션 만들기: 설문조사를 실행하여 사람들에게 무엇을 이길 것이라고 생각하는지 물어보십시오.
  • 발표 결과:
    • 기본 KPI에 미치는 영향
    • 기본 KPI의 하나의 시각화; 사람들은 당신의 결과를 더 잘 이해할 것입니다.
    • 당신이 발견한 다른 것을 보여주는 세분화.
    • 학습과 행동을 나란히 유지하십시오. (이것은 프레젠테이션 시간의 40-50%를 차지해야 합니다.)
  • 프레젠테이션에 추가되지 않는 것이 있으면 제거합니다(예: 통계, 기술 정보 등).
  • 예측 가능한 템플릿이 있어야 합니다. 사람들은 무엇을 기대해야 하는지 알고 있습니다. 작업을 더 빠르게 만듭니다.

Andre Morys: "우리는 모두 죽을 것입니다: '최적화'가 진화의 가속인 이유"

  • 대처 효과(1980, 라이브 실험): 거꾸로 된 얼굴 사진의 변화를 인식하기 어렵다(Margaret Thatcher).
  • 패턴을 모르면 인식하지 못할 수도 있습니다. CRO도 마찬가지입니다.
  • 사물 뒤에 숨겨진 진실을 보려면 관점 을 바꿔야 합니다 .
  • 전의. 코메르츠방크는 왜 죽어가는가?
    • 솔직히 경험치가 별로입니다.
    • 하지만 왜? 디자이너, CRO, 분석가가 있습니다.
    • 무지한 HiPPO - 경영진은 고통을 느끼지 않습니다.
  • "진실, 더 정확하게는 현실에 대한 정확한 이해는 좋은 결과를 낳는 데 필수적인 기초입니다."
  • 파괴적인 비즈니스 모델에 대해 이야기하지 마십시오. 방해하는 사람들은 그것에 대해 이야기하지 않습니다. 그들은 방해하느라 너무 바쁩니다.
  • 디지털 성장은 기술에서 오는 것이 아닙니다. 훌륭한 고객 경험을 기반으로 합니다.
  • 고객 경험을 테스트할 의도가 없다면 결과를 볼 수 없습니다.
  • 최적화는 본질적으로 민첩합니다. CRO는 팀이 조직에서 수행한 모든 것이 좋고 나쁨을 증명하기 위해 새로운 데이터를 생성합니다.
  • 좋은 최적화 도구는 고객 중심의 아이디어를 생성합니다.
  • 아마존의 장점은 지속적으로 새로운 통찰력을 생성한다는 것입니다.
    • 그것은 파도입니다. 민첩한 쓰나미입니다. (당신은 그것을 볼 수 없습니다.)
  • 무한 최적화 프로세스: 분석, 우선 순위 지정, 검증.
  • 경영 마인드를 바꾸세요.
    • 경영진은 웹사이트에서 변경된 사항에 대해 신경 쓰지 않습니다.
    • 실험 프로그램의 ROI를 경영진에게 제시합니다.
    • 팁: CFO와 친구가 되십시오.
    • C-Suite 원탁 회의 - 경영진이 문제를 논의한 다음 열망을 가질 수 있도록 합니다(예: 프로그램 판매).
    • 경영진은 큰 것을 원합니다! 그러나 그들은 작은 변화가 더 큰 결과를 낳는다는 사실을 잊고 있습니다(복합 효과).

John Ekman: “디지털 혁신의 문제점(및 해결 방법)

  • "디지털 트랜스포메이션"은 좋은 목표가 아닙니다.
    • 목표는 "제품을 빠르게 시장에 출시" 또는 "훌륭한 고객 서비스"입니다.
    • 우리는 목표가 변경되어서는 안 될 때 "디지털 혁신"이라는 목표를 (잘못) 설정했습니다.
  • 디지털 트랜스포메이션의 5가지 방법:
    • 제품을 디지털화합니다.
    • 제품 주위에 디지털 서비스 계층을 감쌉니다.
    • "뒤에서" 프로세스를 디지털화합니다.
    • 마케팅, 영업 및 유지 노력을 디지털화합니다.
    • 새로운 디지털 제품을 혁신하십시오.
  • 우리는 디지털 혁신의 다섯 가지 방법 중에서 선택하고 우선 순위를 지정해야 합니다. 디지털 리더라도 한두 가지 면에서는 탁월할 수 있지만 다른 면에서는 그렇지 않을 수 있습니다.
  • 리더십은 많은 돈을 쓰고 있다고 생각합니다. 실무자들은 자원이 없다고 느낀다.
    • 현실은 그것이 하키 스틱의 성장이라는 것입니다. 결과를 보기 전에 많은 돈을 지출해야 합니다(그리고 결과는 기하급수적입니다).
    • 진행 중인 이니셔티브에 할당하기 전에 새 이니셔티브에 예산을 할당합니다.
  • 목표와 평가가 잘못 조정됨:
    • 작은 프로젝트는 큰 그림 안에 정리되어 있지 않습니다.
    • 디지털 혁신을 통해 우리는 수익이나 필요한 투자의 규모를 모릅니다. ROI만 바라보는 것은 미래로 나아가는 데 도움이 되지 않습니다.
    • 솔루션: OKR(Google), 혁신 회계(Eric Ries), 계량 자금 조달(VC).
  • 세 가지 디지털 초강대국:
    • (1) 고객의 말을 경청하는 능력;
    • 당신이 들을 때, 당신은 (2) 행동할 수 있습니다. 그렇지 않으면 잘못된 정보에 따라 행동합니다.
    • 둘 다 있는 경우 (3) 확장할 수 있습니다. 그렇지 않으면 잘못된 것을 확장합니다.

Will Critchlow: "CRO 테스트에서 이기는 것이 검색 트래픽을 망친다면? 아니면 SEO 변경이 전환율을 망치고 있습니까?”

  • 일반적인 걱정은 SEO가 CRO를 망칠 것이지 그 반대가 아니라는 것입니다.
    • CRO는 깔때기의 하단을 처리합니다(판매로 전환하는 사람이 더 많음).
    • SEO는 퍼널의 상단을 처리합니다(퍼널에 더 많은 사람 추가).
  • 많은 CRO 페이지가 인덱싱되지 않았지만 많은 페이지가 인덱싱되어 있으며 CRO 테스트는 유기적 트래픽에 피해를 줄 수 있습니다. (우리는 그것이 일어나는 것을 보았습니다.)
  • 실험: SEO 및 비디지털 마케터에게 두 페이지 중 순위가 더 높을 수 있는 페이지를 평가하도록 요청받았습니다.
    • 아무도 예측에서 50%의 정확도에 도달하지 못했습니다.
    • SEO는 비 SEO보다 약간만 더 우수했습니다.
  • 그렇다면 어떻게 더 나은 예측을 할 수 있을까요? SEO 테스트(DistilledODN).
  • 한 틈새 시장에서 작동하는 변경 사항이 다른 틈새 시장에서는 작동하지 않을 수 있으므로 테스트해야 합니다.
    • SEO "모범 사례"는 사이트/산업에 따라 다릅니다.
  • UX 는 순위 요소입니다(아마도).
    • Google은 사람들이 좋아하는 것과 동일한 것을 좋아하도록 기계 학습 모델을 훈련합니다.
    • 그러나 Google은 완벽하지 않습니다. 모든 알고리즘 변경이 해당 목표를 달성 하는 것은 아니지만 Google에서는 그렇게 하려고 합니다.
    • 따라서 UX 기초에서 SEO 가설을 세워야 합니다.
  • 궁극적으로 우리는 SEO와 CRO의 영향을 동시에 테스트해야 하며 그로부터 이익을 얻을 것입니다. 우리는 같은 팀에 있습니다.

Brennan Dunn: "완전히 개인화된 경험을 대규모로 제공하는 방법"

  • 많은 사람들이 자신이 개인화한다고 "생각"하지만 유용하지 않은 개인화가 많이 있습니다.
  • 내가 실제로 개인화하고 싶은 것들: 나의 의도, 나의 행동, 나의 지식 수준.
  • 세분화를 위한 두 가지 기본 작업:
    • 메시지를 보다 관련성 있고 구체적으로 만들기
    • 보고를 개선하기 위해 세분화를 사용합니다.
  • 세분화에서 내가 관심을 갖는 두 가지는 "누가"와 "무엇"입니다. "나는 [공백]이고 [공백]에 대한 당신의 도움이 필요합니다."
  • 사람을 자동으로 분류하는 방법:
    • 의도/행동
      1. 누군가가 우리 사이트에서 읽은 마지막 10-20개의 기사는 무엇입니까?
      2. 원래 방문 페이지.
      3. 클릭한 광고(특히 Facebook 광고의 경우).
      4. 추천.
    • 행위
      1. 구매.
      2. 리드 자석.
      3. 웨비나.
    • 설문조사
      1. 트리거 링크: "지금 가장 집중하고 있는 것은 무엇입니까?"
      2. 설문조사. "오늘 우리 사이트에서 무엇을 하려고 합니까?"
      3. 호스팅된 설문조사.
    • 클리어빗
  • 어떻게 분류해야 할지 모르겠다면?
    • 누군가가 이메일 과정에 참여하거나 리드 마그넷을 다운로드할 때 빈 칸을 가리켜 묻습니다. (예: "이 이메일 과정에서 무엇을 얻어야 합니까?")
  • 개인화를 통해 우리는 실제로 틈새 사업이 되지 않고도 틈새 메시징을 사용할 수 있습니다.
  • 적은 생각, 더 많은 참여 = 더 많은 전환.
  • 결국 개인화는 관련성입니다.
(이미지 출처)

Chad Sanderson: "제품 개발 및 마케팅 전반에 걸쳐 실험 조정"

  • 때때로 마케팅 및 엔지니어링 부서는 병렬 실험을 하고 충돌에 부딪히기를 원합니다.
  • 제품에 더 가까운 사람들이 비즈니스에서 더 많은 영향력을 행사합니다.
  • 다양한 유형의 회사: Tech First(Bing, LinkedIn), Second(Booking.com, Grubhub), Third(Sephora, Target).
  • 비즈니스 유형에 따라 다음과 같은 차이점이 있습니다.
    • 최적화. 이 기능은 실험 도구 없이는 존재하지 않습니다. 실험 설계는 스프린트 주기 외부에서 발생할 수 있습니다.
    • 확인. 기능은 실험에 관계없이 존재합니다. 실험 설계는 개발 주기의 일부입니다.
  • Snapchat의 대대적인 재설계는 사용자 리뷰에서 83%라는 평가를 받았습니다. 이는 검증 기반 프로세스가 피할 수 있었던 재앙의 한 예입니다.
  • 페이지 속도 킬. 최적화로 인해 전환율이 5% 이상 감소합니까? 클라이언트 측 실험 기술은 대기 시간을 1000ms 미만으로 늘리지 못합니다. 100ms 지연 시간마다 RPV가 0.5% 감소합니다.
  • 성공을 위한 단계:
    • 현재 구조(최적화 또는 검증)를 이해합니다.
    • 귀하의 보장이 부족한 부분을 파악하십시오. ROI가 추적됩니까? 제품이 실험과 함께 배송되나요?
    • 사람, 부서 간의 격차를 해소하고 프로그램 메트릭에 대한 상호 목표를 달성합니다.
    • 결과 공유 및 공동 프로젝트 작업을 위한 포럼을 구축합니다(개별 테스트가 아닌 글로벌 프로그램 수준의 결과).
    • 메트릭을 일관되게 검토하고 반대 세력을 해결하기 위한 월간 회의.

나타샤 와히드(Natasha Wahid): "전체 조직이 실험에 대해 마음을 갖게 하는 방법"

  • 문화는 성공적인 실험의 요소입니다. 이 시나리오를 사용하십시오.
    • 한 여성 최적화 챔피언이 실험을 위해 모든 사람의 아이디어를 모으기 시작합니다.
    • 그녀는 수많은 아이디어를 얻었지만, 그녀가 1인 여성 쇼이기 때문에 그녀는 눈에 띄지 않습니다.
    • 시간이 지나면 그것은 농담이 되어 아이디어가 죽는 곳이 됩니다.
  • 어떻게 하면 더 잘할 수 있습니까?
    • 영감 - 불꽃. 사람들이 행동하도록 동기를 부여하십시오.
    • 교육 - 훈련. 공식 또는 비공식.
    • 정보 - 의사 소통 지식, 행동.
  • 핵심 팀이 프로그램을 소유합니다. 그들은 경영진의 동의를 얻고 추진력을 구축하는 데 집중하고 있습니다.
  • 전의. 사절
    • Michelle은 핵심 유입경로를 최적화하지 않음으로써 회사가 놓치고 있는 부분을 강조했습니다.
    • 수석 엔지니어와 디자이너를 모집합니다. 그들은 또한 외부 기관에서 가능하게 하는 파트너를 데려왔습니다.
    • 모두가 실험의 효과를 볼 수 있었습니다. 엔지니어는 우승한 변형을 즉시 하드코딩했습니다.
  • 전의. 광장
    • 가시성이 가장 높은 제품 팀 중 하나가 재설계를 거쳤습니다.
    • 실험에 대한 사람들의 사고방식을 바꾸는 데 초점을 맞춘 워크샵을 주최했습니다.
    • 협업 촉진에 중점을 두고 현재 팀과 관련이 있을 수 있는 다른 실험에서 얻은 통찰력이 있는지 팀에게 묻습니다.
  • RACI 모델:
    • R – 책임 있는 – 실제 작업 수행
    • A – 책임 있는 – 프로젝트 소유자
    • C – 컨설턴트 – 프로세스 관리에 대한 정보 제공
    • 나 – 정보 – 계속해서 정보를 얻을 필요가 있는 사람들.
  • RACI 통신의 예:
    • 소유자: 실험 챔피언;
    • 메시지: 실험 X가 시작되었습니다.
    • 채널: Slack 알림
    • 대상: 엔지니어링 팀;
    • 타이밍: 도구에서 실험이 시작될 때 자동으로.

결론

(이미지 출처)

이 게시물은 5,000단어 미만으로 압축된 21개의 30분 세션입니다. 컨퍼런스 세션 안팎에서 완전한 경험을 원하신다면 그냥 거기에 있으면 됩니다.

좋은 뉴스? 1년을 기다릴 필요가 없습니다. 6월 13~15일 에스토니아의 디지털 엘리트 캠프에 참여하세요.