CXL Live 2019 回顧：每位演講者的收穫

已發表: 2021-07-22

真是太匆忙了 - 在風景如畫的度假村三天內有 24 位演講者。 再加上 400 位新老面孔、大量對話、現場音樂和不止一些啤酒。 CXL Live 是一種體驗。

還有這個：我們的開場視頻洩露了成長……成長的所有秘密：

如果您想知道自己錯過了什麼，這裡是今年 CXL Live 每次會議的亮點。

Els Aerts：“失傳的提問藝術”

  • 調查並不糟糕，但大多數調查都很糟糕。 他們可以工作，如果：
    • 你的研究問題是正確的。
    • 你不再專注於呈現“數字”和呈現信息。
  • 如何提出正確的問題：
    • 不要問未來（例如“如果我們添加了功能 X，您購買 Y 的可能性有多大？）； 你的用戶不是通靈者。
    • 過去的事情不要問太遠——人的記憶是極不可靠的。
    • 不要問引導性問題。 （例如，不要問某事有多“好”；要問“好還是壞”，或者只是“如何”。）
  • 對否定的偏見問題可以提供更多反饋（例如“它有多難……”）。
  • 您在何時何地進行調查會影響結果——如果它是用戶體驗痛苦的站點部分，它會使響應產生偏差。
  • 確認和感謝頁面是向人們提問的絕佳機會。 （例如，您是否考慮過競爭對手？如果是，我們有哪些特點讓您選擇我們而不是他們？）
  • 在安排採訪時，稱它們為“聊天”，而不是採訪——並將它們視為聊天； 預測對話會發生在哪裡，然後聽，聽，聽。

Joanna Wiebe：“寫鏡子：如何利用客戶的聲音寫出高轉化率的文案”

  • 90% 的文案都是在聽。
  • 目標是寫出人們在其中看到自己的副本——他們現在的自己和下一個自己。
  • 複製驗證：這是突破還是失敗？ 它推動的事情足以成為一個徹底的突破嗎？ 還是絕對可怕？
  • 超越客戶數據的標準語音來源； 更好的選擇是：
    • 採訪創始人（最初的“客戶”）；
    • 感謝頁面調查；
    • Usertesting.com;
    • 礦山銷售電話；
    • 礦山支持票；
    • 我的 Facebook 評論；
    • 我的在線評論。
  • 創始人訪談可以找到故事、價值主張和大創意。
    • 進行視頻採訪並錄製（經許可）。
    • 轉錄採訪（rev.com）。
    • 用熒光筆打印和閱讀成績單：什麼突出？ 有什麼不同？
  • 銷售電話和演示錄音可以繪製通信序列、層次結構，並有助於使副本具有粘性。
    • 深入了解潛在客戶的實際想法。
    • 觀看演示時請注意他們的表情。
    • 跳到潛在客戶正在談論的部分。
    • 注意“紀錄片風格”的時刻。 （例如，如果您將成績單交給某人，他們可以表演出來嗎？那是個好時機。）
    • 注意“我很擔心……”和“你能告訴我……”之類的短語
    • 標記您找到的內容，以便您可以在您的副本中使用它（#objection #late-stage 等）。

Carrie Bolton：“與您的客戶和您的高管保持真實的關係——如何真正改善客戶體驗

  • 客戶體驗是客戶對他們與您的業務互動的看法。
  • Vanguard 認為專注於客戶體驗將有助於他們與競爭對手區分開來：
    • 圍繞定制和個性化客戶體驗進行實驗。
    • 前任。 客戶上網是為了避免打電話 - 重建頁面以使其更易於實驗並有針對性地降低客戶呼叫率。
  • 如何在外部製作案例：
    • 從您所在的行業或一流公司（例如 USAA、CIGNA）獲取競爭情報；
    • 福雷斯特研究；
    • 客戶體驗博客。
  • 如何在內部製作案例：
    • 來自客戶的定量或定性研究（例如數字分析、市場研究）。
    • “與與人民交談的人交談。”
    • 與您的財務人員交談：哪些績效指標受到關注？
  • 告訴不要賣。
  • 當您“銷售”時，人們會看穿它。
  • 客戶調查和反饋可以揭示誠實和需要的反饋，以幫助他們知道要“告訴”他們什麼。

Judah Phillips：“我如何學會不再擔心機器學習並熱愛 AI”

  • 人工智能使分析師能夠在做出決策時向前看——而不是在後視鏡中。
  • 我們目前正處於 Pragmatic AI（例如 Siri、Alexa）的起步階段
  • AI 也正在進入工作場所（例如推薦引擎、聊天機器人、協作的自動建議）。
  • 人工智能是任何獲取歷史數據（訓練數據）並從該數據過去的表現中學習的東西； 通常，這是有監督的機器學習。
  • 深度學習是神經網絡的思想。 這是一個期望過高的領域。
    • 卷積神經網絡 (CNN) 用於圖像和視頻識別。
    • 循環神經網絡適用於時間序列數據。
    • 生成對抗網絡 (GAN) 擅長從訓練它的其他數據和圖片中創建假數據和圖像。
  • 用人工智能做什麼：
    • 預測流失率；
    • 確定向個人發送哪些要約；
    • 加速創新；
    • 個性化內容；
    • 基於賬戶的營銷；
    • 算法歸因；
    • 預測未來升力；
    • 預測責備。
  • 了解模型的作用（不一定是底層算法）並知道何時應用它們以及如何解釋結果是分析師需要的技能。
  • 自動化機器學習將幫助我們解決數據過多而時間不夠的問題：
    • 自動化機器學習可在幾分鐘內以高精度進行預測。
    • 從歷史上看，這是昂貴的。 不再。 今天，無代碼 AI 將允許您做到這一點。

Ton Wesseling：“在每個組織中進行驗證”

  • 為什麼我們的 CRO 工作會消失：團隊以不同的速度運作。
    • 轉換團隊：6-8 週的實驗週期；
    • 營銷團隊：準備、競選、準備、競選；
    • 產品團隊：2 週衝刺。
  • 轉換/優化團隊可能會成為營銷和產品團隊的噩夢。
  • 優化團隊有很多（太多）驕傲：
    • 他們告訴其他團隊他們做錯了什麼。
    • 可以自以為是，過於挑剔。
    • 優化團隊應該更加謙虛。
  • 為什麼殺死優化團隊實際上可能是個好主意：
    • 我們在優化漏桶嗎？ 產品和營銷團隊應該參與其中。
    • “轉化率優化”一詞並沒有真正描述我們的工作——我們幫助客戶實現他們的業務目標。
    • 為什麼我們總是專注於網絡？ 優化郵件、社交等，也是優化。
  • 優化是您試圖影響的 KPI。
    • 這有時包括每個用戶的點擊、行為、交易等。
    • 您應該針對潛在的生命週期價值進行優化； 應該有所有團隊優化的通用 KPI。
  • 優化就是效果——獲得更多結果。
    • 我們如何做到這一點？ 各部門應共同創建“卓越驗證中心”。
    • 在公司核心實現基於證據的增長——使研究民主化，這樣產品團隊就不必擔心統計數據。
    • 實施的優先次序 = 證據質量 x 對共同目標的潛在影響。
  • 不要成為推動者； 成為推動者。

Tammy Duggan-Herd：“無意識的陷阱：心理學的誤用如何損害您的轉化率”

  • 理解人類行為是複雜的，對它採取行動更是如此。
  • 如果您遵循錯誤的原則，您可能會損害轉化、營銷和您的品牌。
  • 問題的根源在於研究如何進入公眾視野：
    • 從一名研究人員開始，他面臨著生產在媒體/學術期刊上受到關注的東西的壓力。
    • 科學期刊有 70% 的拒絕率——很少有人能成功。
    • 當某事發表時，新聞稿關注的是宣傳，而不是準確性。
    • 媒體繼續誇大其詞； 博主使問題變得更糟。
    • 最終，我們在 Twitter 上消費——20 頁減少到 160 個字符。
  • 這是一場電話遊戲——最好的情況是扭曲的信息沒有影響； 最壞的情況是它會產生相反的效果。
  • 無意識從業者的陷阱：
    • 簡單化。 媒體簡化了結果，因為它們需要簡潔、吸引人； 限定符和細微差別被刪除。
    • 高估效應的大小。 統計顯著性不等於實際顯著性——效應的大小。
    • 過度概括。 我們經常忽視研究限制，這是必要的，因為大多數研究都是在實驗室中與本科生進行的（不具有代表性）。
    • 隔離發現。 媒體將單一發現視為確定性的； 沒有一項研究可以單獨說明很多問題； 額外的變量可能會抵消/逆轉影響。
  • 您需要知道如何避免陷阱：
    • 閱讀原始研究。 究竟發現了什麼？ 效果有多大？ 它是如何進行的？
    • 不要陷入黑客。
    • 自己測試一下。 請注意它可能會出錯/適得其反。

Brian Cugelman：“消費者心理學、多巴胺和轉換設計”

  • 多巴胺神話聲稱
    • 多巴胺是愉悅或幸福的神經遞質。
    • 可變獎勵是如此強大，以至於用戶無法抗拒它們。
    • 像 Facebook 這樣的公司用多巴胺操縱人們。
  • 如果這些說法屬實：
    • 社交媒體將是純粹的樂趣。
    • 我們都會上癮，被邪惡的操縱者迷住。
    • 大多數人類將缺乏任何自我控制。
  • 實際上，多巴胺讓人感到精力充沛和好奇。
    • 它提供了一種快速消退的情感獎勵，讓人不滿意。
    • 人們習慣於觸發，從而停止觸發多巴胺。
    • 多巴胺獎勵會強化行為。
    • 太少的多巴胺與運動障礙有關。
  • 我們如何觸發觀眾的多巴胺？ 提供數字承諾或驚喜：
    • 虛擬歡迎禮物；
    • 快速致富優惠；
    • 神秘盒子；
    • 拍賣；
    • 幸運抽獎;
    • 廣告：“這些童星今天的樣子”；
    • BuzzFeed 調查/測驗，例如你是哪隻狗？
  • 我們如何在數字營銷中使用它？
    • 禮物和獎勵的視覺提示；
    • 神秘獎品；
    • 編輯掛鉤；
    • 有價值的建議;
    • 福利報表；
    • 任何獎勵的提示。
  • 大腦習慣於舊的獎勵（例如橫幅失明）。
  • 你如何克服習慣？
    • 提供更多、更好、更大。
    • 使用新奇。
    • 包括驚喜。
    • 保留完整的故事。
    • 減少外展頻率。
    • 添加隨機禮物。
    • 重新包裝今天的材料。
    • 添加創新。
    • 使用可變獎勵。
  • 利用不確定性為您帶來優勢：
    • 如果您要通過運輸提供一些東西，請使用具有增強預期的隨機獎勵。
  • 使用期望管理，直截了當，兌現你的承諾，你就會擁有當之無愧的多巴胺。
（圖片來源）

盧卡斯·維米爾 (Lukas Vermeer)：“Booking.com 上的在線實驗民主化”

  • 每當有人向您展示數據時，您的第一個問題應該是“這些數據是在哪里以及如何獲取/收集的？”
  • 有些人將基於數據的驗證誤解為對創作自由的限制。
  • 在 Booking，人們相信數據的有效性，並且每個人都可以看到決策。 這可以實現連續的、個性化的決策過程。
  • “軼事的複數不是數據”——我們需要證據來做出決定。
  • 避免猜謎遊戲（例如“兩種按鈕顏色中哪一種更好？”）：
    • 我們應該改為進行假設檢驗，其中包括對實驗背後思想的更詳細描述。
    • 這並不意味著您不能測試按鈕顏色，而是您對為什麼要這樣做以及應該測試哪些變體有了更好的理解。
  • 假設模板：理論、驗證、目標。
  • 通過實驗挑戰你自己對產品的理解是至關重要的：
    • 它顛覆了“所有測試都應該獲勝”的想法——“9/10 測試失敗”（VWO），但學習永遠不會失敗。
  • 找到最小的步驟來快速測試風險最高的假設。
（圖片來源）

Ryan Thomas：“優化電子郵件註冊”

  • 電子郵件捕獲有時會違背您的主要目標
    • 前任。 優化比賽彈出窗口導致電子郵件註冊量提升 300% 以上，但電子商務轉化率和 AOV 下降
    • 解決方法：用現在鼓勵銷售的優惠取代比賽（歡迎和退出優惠小折扣的組合）
    • 電子郵件註冊量的類似提升以及交易轉化率和收入的提升
  • 為什麼要關注電子郵件註冊？
    • 查看數據：電子郵件流量通常表現最佳； 時間滯後和路徑長度示例 - 三分之二在同一天轉化，但在第一個接觸點不到一半
    • 與您的客戶建立關係
    • 測試策略：獨立的KPI（不太可能與其他測試衝突）； 低流量：當你沒有足夠的宏轉換時，可以在這裡測試； 作為學習的測試：嘗試消息傳遞和動機
  • ResearchXL 流程
    • 啟發式分析
    • 鼠標追踪
    • 網絡分析
    • 用戶測試
    • 定性調查
    • 技術分析
  • 客戶調查
    • 開放式、非引導性問題
    • 了解動機、決策過程、猶豫、挫折
  • 洞察力可以來自任何地方
  • 關聯數據點以確定路線圖的優先級 (PXL)
  • 更多例子：
    • 為頻繁購買的產品優化競賽彈出窗口，可在不影響電子商務指標的情況下提升電子郵件註冊量
    • 在電子郵件註冊增加 95% 和交易轉化率小幅提升之前添加一個不存在的歡迎優惠
  • 要點：
    • 使您的戰略與對業務重要的事物保持一致——沒有虛榮的指標。
    • 嘗試不同的策略、工具、優惠和設計。
    • 做你的研究！

Nina Bayatti：“真的是贏家嗎？ 您應該跟踪的下漏斗數據”

  • 您可以監控大量指標：
    • 兌換率;
    • 跳出率；
    • 點擊率;
    • 瀏覽量；
    • 鉛捕獲；
    • 購買轉化率。
  • 但他們並沒有講述整個故事。
  • 為了得出可靠的結論，您需要分析漏斗數據。
  • 在 ClassPass，他們認為推薦對於吸引新客戶很重要，因此激勵推薦是有意義的。
    • 他們測試提供 10 個免費學分，用於與好友一起鍛煉。
    • 邀請增加了 50%； 推薦獲取量提升 35%。
    • 然後他們注意到他們一直在蠶食其他渠道——作為推薦人轉換的人是已經從其他渠道獲得的潛在客戶。
  • 設置您的成功實驗：
    • 定義成功指標。
    • 在確定樣本大小時考慮所有漏斗步驟（即也使其足夠大以進行漏斗底部分析）。
    • 識別並迭代向下漏斗槓桿。
    • 激勵工作，但他們可能工作也很好，並轉換人誰沒有真正進入服務/產品或蠶食其他渠道。
    • 始終考慮您的成功測試對您的增長和成本的影響。

埃里克艾倫：“失敗的測試也可以成為贏家。 如何評估失敗的實驗並從中學習。”

  • 實驗的成本——你希望好處大於成本。
  • 為什麼輸了會痛？ 在我們看來，損失大於收益。
  • 學習勝過知識：知識是有限的； 以一種你可以從中汲取經驗的方式設計每個實驗，即使是從損失中。
  • Ancestry.com 重新設計測試失敗：
    • 第一個測試：了解到我們變化太多，需要隔離變量。
    • 第二個測試：消費者不了解包裝之間的區別，只是選擇最低價格。
    • 第三個測試：優惠頁面太複雜，消費者在頁面上花費了太多時間。
    • 第四個測試：現在有太多人在接受短期套餐。
    • 第五次測試：這根本行不通。 恢復原樣。
  • 學會重構損失：“ A/B 測試是我們的學費。 學習是要花錢的。 ”
  • 測試的影響：
    • 基準運行率：每年 1 億美元；
    • 測試提升：10%；
    • 測試持續時間：90 天（25%）；
    • 負面影響：250 萬美元；
    • 總收入：9750 萬美元。
  • 未測試實施的影響：
    • 基準運行率：每年 1 億美元；
    • 測試提升：10%；
    • 測試時間：12個月；
    • 負面影響：1000 萬美元；
    • 總收入：9000 萬美元。
  • 測試總節省：750 萬美元。
  • 從一系列測試中學習可以將失敗變成勝利。
  • 要點：
    • James Lind：有成本，但也有好處。
    • Jeff Bezos：繼續進行實驗。
    • Jay-Z：損失是教訓。

Stefanie Lambert：“實事求是：構建優化程序時的慘痛教訓”

  • 對組織文化的敏感性將使每個人的生活更輕鬆。
    • 如果一家公司以不同的方式做事，這可能意味著你必須適應。
  • 細節決定成敗。
    • 由於進展太快，我們需要多次重新啟動測試。
    • 對於一個簡單的測試，將 Google Analytics 與 Google Optimize 連接起來需要幾秒鐘，但由於我們沒有這樣做，我們浪費了兩週時間。
  • 如果沒有數據支持，它可能不會起作用。
    • 您的測試隊列應該主要是數據支持的測試。
    • 服裝系列真的很想展示他們服裝的質量並讓他們的圖像更大。 但這個想法並非來自數據。
    • 當我們展示較大的圖片時，頁面上的產品較少，從而降低了點擊率。
  • 定量和定性數據對於出色的結果是必要的。
    • 推出測試後，我們對錶單初始化減少了 20% 感到失望。
    • 新表格更好看，並且在網站的其他地方做得很好。
    • 我們過濾了控件和變體用例的會話記錄。
    • 在新的變體中，表單的獨特之處足以讓訪問者將其識別為表單，因此更多的用戶離開了，表單開始減少。
  • 好奇心並沒有殺死貓。
    • 通過足夠關心提出棘手的問題而脫穎而出。 （例如“這真的很好，但還能更好嗎？”）
    • 剛開始時，我對基於工具中的數據做出大型業務決策感到不自在。
    • 我必須學習統計學才能信任數據。

Lizzie Eardley：“在實驗中追逐統計幽靈”

  • 統計幽靈：當您認為您的測試影響了您的指標，但實際上沒有影響時。 你被數據騙了
  • 運行 100,000 次 A/A 測試：60% 的 A/A 測試測得的差異至少為 1%。
  • “在統計上不顯著”並不意味著它沒有影響，只是你沒有足夠的證據來拒絕零假設。
  • 統計鬼影的四個原因：
    • 多重比較；
    • 偷看；
    • 不好的指標；
    • 幾乎意義重大。
  • 多重比較：
    • 需要通過調整 p 值來解決這個問題。
    • 誤報機率適用於每個比較。
    • 前任。 1 比較：5% 的誤報機率； 8 次比較，34% 的誤報機率！
    • 基於一個關鍵指標的假設，然後選擇次要指標。
  • 偷看：
    • 在預定的實驗結束之前查看數據並採取行動。
    • 這會對誤報率產生巨大影響。
    • 偷看的好理由：檢查錯誤、阻止災難、提高效率。
  • 不良指標：
    • 一個好的指標是有意義的、可解釋的、敏感的、適合測試的。
    • 有意義：捕獲您打算更改的內容。
    • 可解釋性：易於判斷更改如何改變用戶行為。
    • 靈敏：可以更快地檢測到較小的變化。
    • 適合測試：正態測試假設獨立，且誤差呈正態分佈。
  • 幾乎意義重大：
    • 誘惑之鬼。 人們願意相信他們所希望的。
    • 沒有“幾乎”重要的東西！
（圖片來源）

Emily Robinson：“A/B 測試的 6 條準則”

  • 實驗過程的步驟：
    • 過程。 你不能做所有的事情，你沒有做的事情仍然很重要。
    • 創造。
    • 分析。
    • 做決定。 如何決定下一步做什麼？
  • 數據越少，觀點越強。 我們的意見往往是錯誤的。 不要讓 HiPPO（最高薪酬人士的意見）扼殺你的想法； 代替實驗。
  • 從歷史數據開始：你的測試想法的人口是多少？ 您目前的轉化率和預計增幅是多少？
  • 運行功率分析！ 對於確定停止點和避免假陰性很重要。 （80% 意味著如果更改存在，您有 80% 的機會會檢測到更改。）
  • 如果您一次嘗試多個更改，將無法找出無效的內容； 而是進行較小的增量測試。
    • Etsy 首先在測試結束後發布所有更改。
    • 轉向更深入的流程，以更短的周期實施 A/B 測試變更。
  • 在發布想法之前先製作原型。
  • 讓一位科學家參與其中，他可以確保您跟踪正確的指標。 他們還可以幫助您進行功率計算和迭代想法。
  • 做決定：
    • 您要添加的技術複雜性和債務是什麼？
    • 它是基礎功能嗎？
    • 是否存在太小而無法檢測的負面影響？
  • 小心中立啟動——沒有可靠的策略或足夠的數據來支持決策。

Valerie Kroll：“如何展示測試結果以激發行動”

  • 在展示數據時，關鍵問題是“您希望觀眾帶走什麼？”
  • 模板公式：
    • 我們為什麼要測試；
    • 我們測試了什麼；
    • 結果；
    • 學習；
    • 下一步是什麼。
  • 您的幻燈片不是您的演示文稿。 你是演示文稿。
  • 陳述您的商業案例：
    • 你在哪裡測試這個？
    • 觀眾是誰？
    • 你會測量什麼？
  • 陳述論文。 （例如“價值主張聊天提示會增加潛在客戶的捕獲率嗎？”）
  • 定義實驗的測量方式：
    • 假設陳述；
    • 主要 KPI；
    • 次要 KPI。
  • 使您的演示文稿具有互動性：進行民意調查——詢問人們他們認為什麼會獲勝。
  • 呈現結果：
    • 對主要 KPI 的影響；
    • 主要 KPI 的一種可視化； 人們會更好地理解你的結果。
    • 細分以顯示您發現的其他內容。
    • 保持學習和行動並行。 （這應該佔用您演示時間的 40-50%。）
  • 如果某些內容沒有添加到您的演示文稿中，它就會從其中刪除（例如統計數據、技術信息等）。
  • 有一個可預測的模板。 人們知道會發生什麼。 使您的工作更快。

安德烈·莫里斯：“我們都會死：為什麼‘優化’是進化的加速”

  • 撒切爾效應（1980 年，現場實驗）：很難識別面部正面照片的變化（瑪格麗特·撒切爾）。
  • 如果您不知道該模式，您可能無法識別它——CRO 也是如此。
  • 你需要改變視角才能看到事物背後的真相。
  • 前任。 德國商業銀行為何瀕臨死亡？
    • 坦率地說，這種體驗很糟糕。
    • 但為什麼？ 他們有設計師、CRO、分析師
    • 無知的 HiPPO——管理層不會感到痛苦。
  • “真相——更準確地說，是對現實的準確理解——是產生良好結果的重要基礎。”
  • 不要談論破壞性的商業模式； 破壞者不談論它。 他們忙於乾擾。
  • 數字增長並非來自技術； 它基於出色的客戶體驗。
  • 如果不打算測試客戶體驗，您將看不到結果。
  • 優化本質上是敏捷的：CRO 為團隊生成新數據，以證明組織所做的一切是好是壞。
  • 好的優化者會產生以客戶為中心的想法。
  • 亞馬遜的優勢在於他們不斷產生新的見解。
    • 這是一波——敏捷的海嘯。 （你看不到它。）
  • Infinity 優化過程：分析、確定優先級、驗證。
  • 轉變管理思維。
    • 管理層不關心網站上發生了什麼變化。
    • 向管理層展示實驗計劃的投資回報率。
    • 提示：與首席財務官成為朋友。
    • 最高管理層圓桌會議——允許管理層討論他們的問題，然後有抱負（即出售程序）。
    • 管理層想要大事！ 然而，他們忘記了較小的變化會產生較大的結果（複合效應）。

John Ekman：“數字化轉型中的問題（以及如何修復）

  • “數字化轉型”不是一個好的目標：
    • 目標是“將產品快速推向市場”或“良好的客戶服務”。
    • 當目標不應該改變時，我們（錯誤地）設定了“數字化轉型”的目標，而只是實現它們的工具。
  • 數字化轉型的五種方式：
    • 將產品數字化；
    • 圍繞產品包裹數字服務層；
    • “幕後”流程數字化；
    • 將營銷、銷售和保留工作數字化；
    • 創新數碼產品。
  • 我們必須在五種數字化轉型方式中進行選擇和優先排序； 即使是數字領導者也可能在一種或兩種方式上表現出色，但在其他方面則不然。
  • 領導層認為它花費了大量金錢； 從業者覺得他們沒有資源。
    • 現實情況是，這是曲棍球棒的增長——在看到任何結果之前，您必須花費大量資金（然後結果呈指數級增長）。
    • 在分配給正在進行的計劃之前，先將預算分配給新計劃。
  • 目標和評估錯位：
    • 小項目不是在大局內組織的。
    • 隨著數字化轉型，我們不知道回報或必要投資的規模； 只關注投資回報率並不能推動您走向未來。
    • 解決方案：OKR (Google)、創新會計 (Eric Ries)、計量資金 (VC)。
  • 三個數字超級大國：
    • (1) 傾聽客戶的能力；
    • 當你傾聽時，你可以（2）行動； 否則，您會根據錯誤的信息採取行動。
    • 如果兩者都有，則可以 (3) 擴展； 否則，你會縮放錯誤的東西。

Will Critchlow：“如果您獲勝的 CRO 測試搞砸了您的搜索流量怎麼辦？ 或者您的 SEO 更改正在破壞您的轉化率？”

  • 普遍擔心的是 SEO 會搞砸 CRO，反之亦然。
    • CRO 處理漏斗的底部（更多的人轉化為銷售）。
    • SEO 處理漏斗頂部（將更多人添加到漏斗）。
  • 許多 CRO 頁面甚至沒有編入索引，但很多都編入了索引——而且 CRO 測試會損害自然流量。 （我們已經看到它發生了。）
  • 實驗：SEO 和非數字營銷人員被要求評估兩個頁面中哪一個可能排名更高：
    • 沒有人能夠在預測中達到 50% 的準確度。
    • SEO 僅略好於非 SEO。
  • 那麼我們如何做出更好的預測呢？ SEO 測試 (DistilledODN)。
  • 對一個細分市場有效的變化可能不適用於另一個——我們必須進行測試。
    • SEO“最佳實踐”是特定於站點/行業的。
  • UX是一個排名因素（也許）：
    • 谷歌訓練機器學習模型喜歡人們喜歡的東西。
    • 但谷歌並不完美——每一次算法改變都沒有達到那個目標，但這就是他們想要做的。
    • 因此，我們應該從 UX 基本原理構建 SEO 假設。
  • 最終，我們需要——並將受益——同時測試 SEO 和 CRO 的影響。 我們在同一個團隊。

Brennan Dunn：“如何大規模提供完全個性化的體驗”

  • 許多人“認為”他們是個性化的，但是那裡有很多無用的個性化。
  • 我真正想要個性化的事情：我的意圖、我的行為、我的知識水平。
  • 細分的兩個主要工作：
    • 使您的信息更相關、更具體；
    • 使用細分來改進報告。
  • 在細分中，我關心的兩件事是“誰”和“什麼”：“我是一個[空白]，我需要你在[空白]方面的幫助。”
  • 如何自動細分人群：
    • 意圖/行為
      1. 有人在我們的網站上閱讀的最後 10-20 篇文章是什麼？
      2. 原始登陸頁面。
      3. 他們點擊的廣告（尤其是 Facebook 廣告）。
      4. 轉介。
    • 行動
      1. 採購。
      2. 鉛磁鐵。
      3. 網絡研討會。
    • 調查
      1. 觸發鏈接：“你現在最關注什麼？”
      2. 調查。 “你今天想在我們的網站上做什麼？”
      3. 主持的調查。
    • 清除位
  • 如果您不知道應該如何細分怎麼辦？
    • 當有人加入電子郵件課程或下載磁鐵時，請直接問他們。 （例如“你需要從這個電子郵件課程中得到什麼？”）
  • 通過個性化，我們可以使用利基消息傳遞，而無需真正成為利基業務。
  • 更少思考，更多參與 = 更多轉化。
  • 歸根結底，個性化是相關的。
（圖片來源）

Chad Sanderson：“在產品開發和營銷之間調整實驗”

  • 有時營銷和工程部門想要做平行實驗並遇到衝突。
  • 更接近產品的人對業務的吸引力更大。
  • 不同類型的公司：Tech First（Bing、LinkedIn）、Second（Booking.com、Grubhub）、Third（絲芙蘭、Target）。
  • 根據業務類型，您有不同之處：
    • 優化。 如果沒有實驗工具，該功能將不存在； 實驗設計可以發生在衝刺週期之外。
    • 驗證。 無論實驗如何，該功能都會存在； 實驗設計是開發週期的一部分。
  • Snapchat 的重大重新設計在用戶評論中受到了 83% 的抨擊——這是基於驗證的流程本可以避免的災難的一個例子。
  • 頁面速度殺死。 優化是否將轉化率降低了 5% 或更多？ 客戶端實驗技術無法將延遲增加小於 1000 毫秒。 每 100 毫秒延遲會導致 RPV 降低 0.5%。
  • 成功的步驟：
    • 了解您當前的結構：優化或驗證。
    • 找出您的覆蓋範圍不足的地方。 是否跟踪投資回報率？ 產品是否附帶實驗？
    • 彌合人員、部門之間的差距——為項目指標制定共同目標。
    • 建立一個共享結果和開展聯合項目的論壇（全球項目層面的結果，而不是個別測試）。
    • 每月舉行會議，以一致地審查指標並解決對立的力量。

Natasha Wahid：“如何讓你的整個組織對實驗充滿熱情”

  • 文化是成功實驗的一個因素。 看這個場景：
    • 一位女性優化冠軍開始從每個人那裡尋找想法進行實驗。
    • 她有很多想法，但因為她是一個單人秀，所以她被雪藏了。
    • 一段時間後，它變成了一個笑話——一個讓想法消亡的地方。
  • 我們如何做得更好？
    • 啟發——火花。 激發人們採取行動的動力。
    • 教育——培訓。 正式或非正式。
    • 告知——交流知識、行動。
  • 核心團隊擁有該程序。 他們專注於獲得高管的認同和建立動力。
  • 前任。 使者
    • Michelle 強調了公司​​沒有優化其核心漏斗所缺少的東西。
    • 招聘了一名首席工程師和一名設計師。 他們還從外部機構引進了一個有利的合作夥伴。
    • 每個人都可以看到實驗的影響。 工程師立即對獲勝的變體進行了硬編碼。
  • 前任。 正方形
    • 知名度最高的產品團隊之一經歷了一次失敗的重新設計。
    • 舉辦研討會，重點是圍繞實驗改變人們的思維方式。
    • 專注於促進協作，詢問團隊是否有可能與當前團隊相關的其他實驗的見解。
  • RACI型號：
    • R——負責——做實際工作；
    • A – 負責 – 項目所有者；
    • C – 顧問 – 提供有關管理過程的信息；
    • I – 信息 – 只需要隨時了解情況的人。
  • RACI 通信示例：
    • 擁有者：實驗冠軍；
    • 消息：X 實驗已經啟動；
    • 通道：Slack 通知；
    • 受眾：工程團隊；
    • 計時：在工具中啟動實驗時自動進行。

結論

（圖片來源）

這篇文章是 21 個半小時的會話，壓縮成不到 5,000 字。 如果您想要完整的體驗——無論是在會議內部還是外部——您只需到場即可。

好消息？ 你不需要等待一整年。 6 月 13 日至 15 日在愛沙尼亞參加數字精英營。