CXL Live 2019のまとめ：すべてのスピーカーからのポイント

公開: 2021-07-22

絵のように美しいリゾートで、3日間で24人のスピーカーが急いでいます。その400の新旧の顔、たくさんの会話、生演奏、そして数本以上のビールに加えてください。 CXLライブは体験です。

これもありました：成長のすべての秘密を与えた私たちのオープニングビデオ…成長：

何を見逃したのか疑問に思われる方のために、今年のCXLLiveでの各セッションのハイライトをご紹介します。

Els Aerts：「質問をするという失われた芸術」

調査はひどいものではありませんが、ほとんどの調査はひどいものです。次の場合に機能します。
- あなたはあなたの研究の質問を正しく理解します。
- あなたは「数字」の提示と情報の提示に集中するのをやめます。
適切な質問をする方法：
- 将来について質問しないでください（たとえば、「機能Xを追加した場合、Yを購入する可能性はどのくらいありますか？」）。あなたのユーザーは超能力者ではありません。
- 過去に遠すぎることについて質問しないでください。人間の記憶は非常に信頼できません。
- 主要な質問をしないでください。（たとえば、何かがどれほど「良い」かを尋ねないでください。「良いか悪いか」、または単に「どのように」だったかを尋ねてください。）
ネガティブへのバイアスの質問は、より多くのフィードバックを提供することができます（例：「それはどれほど大変でしたか…」）。
調査を実施する場所と時期は結果に影響を与える可能性があります。ユーザーが苦痛を感じているサイトセクションの場合、回答にバイアスがかかります。
確認とお礼のページは、人々に質問する絶好の機会です。（例えば、あなたは競合他社を検討しましたか？もしそうなら、あなたが彼らよりも私たちを選んだ理由は何ですか？）
面接を設定するときは、面接ではなく「チャット」と呼び、チャットのように扱います。会話がどこに行くことができるかを予測し、聞いて、聞いて、聞いてください。

Joanna Wiebe：「ミラーの作成：顧客の声を使用して高変換コピーを作成する方法」

コピーライティングの90％が聞いています。
目標は、人々が自分自身を見るコピーを書くことです—彼らの現在の自己とすぐ次の自己。
コピーの検証：これは画期的なことですか、それとも破産することですか？それは完全な突破口になるのに十分なことを推進していますか？または絶対にひどいですか？
顧客データの標準的な音声ソースを超えます; より良いオプションは次のとおりです。
- インタビューの創設者（元の「顧客」）。
- ありがとうページ調査;
- Usertesting.com;
- 鉱山のセールスコール;
- 鉱山サポートチケット;
- 私のFacebookのコメント;
- 鉱山のオンラインレビュー。
創設者のインタビューでは、ストーリー、価値提案、そして大きなアイデアを見つけることができます。
- ビデオでインタビューを行い、それを記録します（許可を得て）。
- インタビューを書き写します（rev.com）。
- 蛍光ペンでトランスクリプトを印刷して読みます：何が際立っていますか？何が違うの？
セールスコールとデモ録音は、コミュニケーションシーケンス、階層をプロットし、コピーをスティッキーにするのに役立ちます。
- 見込み客が実際にどのように考えているかについての洞察を得る。
- 彼らがデモを見ながら彼らの表情を見てください。
- 見込み客が話している部分にスキップします。
- 「ドキュメンタリースタイル」の瞬間に注意してください。（たとえば、誰かにトランスクリプトを渡した場合、彼らはそれを実行できますか？それは良い瞬間です。）
- 「心配です…」や「見せてくれませんか…」などのフレーズに注意してください。
- 見つけたものにタグを付けて、コピーで使用できるようにします（＃objection＃late-stageなど）。

キャリーボルトン：「顧客と経営幹部を現実のものにする—顧客体験を本当に改善する方法

カスタマーエクスペリエンスは、ビジネスとの相互作用に対する顧客の認識です。
ヴァンガードは、顧客体験に焦点を当てることで、競合他社との差別化に役立つと判断しました。
- カスタマーエクスペリエンスのカスタマイズとパーソナライズに関する実験を設定します。
- 例顧客は電話を避けるためにオンラインにアクセスします。ページを再構築して、より実験しやすく、ターゲットを絞った顧客の電話料金の削減を実現します。
外部でケースを作成する方法：
- 業界またはクラス最高の企業（USAA、CIGNAなど）から競争力のあるインテリジェンスを取得します。
- Forrester Research;
- カスタマーエクスペリエンスブログ。
内部でケースを作成する方法：
- 顧客からの定量的または定性的調査（デジタル分析、市場調査など）。
- 「人々と話す人々と話してください。」
- 財務担当者と話してください：どのパフォーマンス指標が注目されますか？
売らないでください。
あなたが「売る」とき、人々はそれを通して直接見ます。
顧客の調査とフィードバックにより、正直で必要なフィードバックが明らかになり、顧客に何を「伝える」かを知ることができます。

ジュダフィリップス：「機械学習について心配するのをやめ、AIを愛することをどのように学んだか」

人工知能により、アナリストはバックミラーではなく、意思決定を行う際に楽しみにすることができます。
私たちは現在、実用的なAI（Siri、Alexaなど）の開始段階にあります
AIも職場に参入しています（レコメンデーションエンジン、チャットボット、コラボレーションの自動提案など）。
AIは、履歴データ（トレーニングデータ）を取得し、そのデータの過去のパフォーマンスから学習するものです。通常、これは教師あり機械学習です。
ディープラーニングはニューラルネットワーキングのアイデアです。それは過度に膨らんだ期待の領域です。
- 畳み込みニューラルネットワーク（CNN）は、画像とビデオの認識に使用されます。
- リカレントニューラルネットワークは、時系列データに適しています。
- 生成的敵対的ネットワーク（GAN）は、トレーニングした他のデータや画像から偽のデータや画像を作成するのに適しています。
AIをどうするか：
- 解約を予測します。
- 個人に送信するオファーを特定します。
- イノベーションを加速します。
- コンテンツをパーソナライズします。
- アカウントベースのマーケティング;
- アルゴリズムによる帰属;
- 将来の伸びを予測します。
- 非難を予測します。
モデルが何をするのか（必ずしも基礎となるアルゴリズムである必要はありません）を理解し、モデルをいつ適用するか、結果をどのように解釈するかを知ることは、アナリストが必要とするスキルです。
自動化された機械学習は、データが多すぎて時間が足りないという問題を解決するのに役立ちます。
- 自動機械学習は、数分で高精度に予測します。
- 歴史的にそれは高価でした。もう違います。コードレスAIにより、今日それが可能になります。

Ton Wesseling：「すべての組織での検証」

CROの仕事がなくなる理由：チームはさまざまなペースで運営されています。
- 変換チーム：6〜8週間の実験サイクル。
- マーケティングチーム：準備、キャンペーン、準備、キャンペーン;
- 製品チーム：2週間のスプリント。
変換/最適化チームは、マーケティングチームと製品チームにとって悪夢になる可能性があります。
最適化チームには多くの（あまりにも多くの）誇りがあります：
- 彼らは他のチームに彼らが間違っていることを伝えます。
- 自己正義であり、過度に批判的である可能性があります。
- 最適化チームはもっと謙虚でなければなりません。
最適化チームを殺すことが実際に良い考えである理由：
- 漏出バケットを最適化していますか？製品チームとマーケティングチームが関与する必要があります。
- 「コンバージョン率の最適化」という用語は、私たちが何をしているのかを実際に説明しているわけではありません。クライアントがビジネス目標を達成できるように支援します。
- なぜ私たちは常にウェブに焦点を合わせているのですか？メールやソーシャルなどの最適化も最適化です。
最適化は、影響を与えようとしているKPIです。
- これには、クリック、行動、ユーザーごとのトランザクションなどが含まれる場合があります。
- 潜在的なライフタイム値を最適化する必要があります。すべてのチームが最適化するユニバーサルKPIが必要です。
最適化とは、効果がすべてであり、より多くの結果を得ることにあります。
- これをどのように行うのですか？すべての部門が協力して、「卓越した検証センター」を作成する必要があります。
- 会社の中心で証拠に基づく成長を可能にします。製品チームが統計について心配する必要がないように、研究を民主化します。
- 実装の優先順位付け=エビデンスの質x共有目標への潜在的な影響。
プッシャーにならないでください。イネーブラーになります。

Tammy Duggan-Herd：「気づかないことの落とし穴：心理学の誤用があなたのコンバージョン率をどのように傷つけているか」

人間の行動を理解することは複雑であり、それに基づいて行動することはさらに複雑です。
間違った原則に従うと、コンバージョン、マーケティング、ブランドに損害を与える可能性があります。
問題の根本は、研究がどのように一般に公開されるかです。
- メディア/学術雑誌で注目を集めるものを作成するよう圧力をかけられている研究者から始めます。
- 科学雑誌の拒否率は70％ですが、ほとんどわかりません。
- 何かが出版されると、プレスリリースは正確さではなく宣伝に焦点を合わせます。
- メディアは主張を拡大し続けています。ブロガーは問題を悪化させます。
- 最終的に、Twitterで消費します。20ページが160文字に削減されます。
これは伝言ゲームです。最良のシナリオは、歪んだ情報が効果を発揮しないことです。最悪のシナリオは、逆の効果を生み出すことです。
知らない開業医の落とし穴：
- 過度の単純化。 メディアは、簡潔でキャッチーである必要があるため、結果を単純化します。修飾子とニュアンスは削除されます。
- 効果量の過大評価。 統計的有意性は、実際的な有意性、つまり効果の大きさと同じではありません。
- 過度に一般化しています。 ほとんどの研究は研究室の学部生（代表者ではない）を対象としているため、必要な研究の制限を無視することがよくあります。
- 調査結果の分離。 メディアは単一の調査結果を決定的なものとして扱います。単一の研究だけで多くを語ることはできません。追加の変数は、効果を無効にする/逆にする可能性があります。
落とし穴を回避する方法を知る必要があります。
- 元の研究を読んでください。実際に何が見つかりましたか？効果の大きさは？それはどのように行われたのですか？
- ハッキングに巻き込まれないでください。
- 自分でテストしてください。それがどのようにうまくいかない/裏目に出る可能性があるかに注意してください。

ブライアン・カーヘルマン：「消費者心理学、ドーパミン、および変換設計」

ドーパミン神話はそれを主張します
- ドーパミンは、喜びまたは幸福の神経伝達物質です。
- 変動報酬は非常に強力なので、ユーザーはそれに抵抗できません。
- Facebookのような企業はドーパミンで人々を操作します。
これらの主張が真実である場合：
- ソーシャルメディアは純粋な喜びです。
- 私たちは皆、邪悪なマニピュレーターに夢中になっている中毒者になるでしょう。
- 人類のほとんどは自制心を欠いているでしょう。
実際には、ドーパミンは人々に活力と好奇心を感じさせます。
- それは、人々を不満にさせ、急速に衰退する感情的な報酬を提供します。
- 人々は、ドーパミンの誘発を停止する誘発に慣れます。
- ドーパミン報酬は行動を強化します。
- ドーパミンが少なすぎると、運動障害に関連します。
どうすれば聴衆のドーパミンを誘発できますか？ デジタルの約束や驚きを提供する：
- バーチャルウェルカムギフト;
- ギャンブル詐欺のオファー;
- ミステリーボックス;
- オークション;
- ラッキードロー;
- 広告：「これらの子星は今日どのように見えるか」;
- BuzzFeedの調査/クイズ、たとえばあなたはどの犬ですか？
これをデジタルマーケティングでどのように使用しますか？
- 贈り物や報酬の視覚的なヒント。
- ミステリー賞;
- エディトリアルフック;
- 価値提案;
- 利益ステートメント;
- 報酬のヒント。
脳は古い報酬（例えばバナー失明）に生息します。
慣れをどのように克服しますか？
- より多く、より良く、より大きく提供します。
- ノベルティを使用します。
- サプライズを含めます。
- 全文を控えてください。
- アウトリーチの頻度を減らします。
- ランダムなギフトを追加します。
- 今日の資料を再梱包します。
- イノベーションを追加します。
- 変動報酬を使用します。
あなたの利益のために不確実性を使用してください：
- 送料で何かを配っている場合は、期待を高めたランダムな報酬を使用してください。
期待値管理を使用し、率直に、約束を果たしてください。そうすれば、当然のドーパミンを手に入れることができます。

Lukas Vermeer：「Booking.comでのオンライン実験の民主化」

誰かがあなたにデータを見せたときはいつでも、あなたの最初の質問は「このデータはどこでどのように取得/収集されたのですか？」である必要があります。
一部の人々は、データベースの検証を創造的な自由への制限と誤解しています。
予約では、データの有効性に信頼があり、決定はすべての人に表示されます。これにより、継続的な個別の意思決定プロセスが可能になります。
「複数の逸話はデータではありません」—決定を下すには証拠が必要です。
ゲームを推測することは避けてください（たとえば、「2つのボタンの色のどちらが良いですか？」）：
- 代わりに、実験の背後にある考え方のより詳細な説明を含む仮説検定を行う必要があります。
- ボタンの色をテストできないという意味ではありませんが、なぜそれを実行しているのか、どのバリエーションをテストする必要があるのかをよりよく理解しているということです。
仮説テンプレート：理論、検証、目的。
実験を通じて製品についてのあなた自身の理解に挑戦することは重要です：
- それは「すべてのテストが勝つべきである」という考えをひっくり返します—「9/10テストは失敗します」（VWO）、しかし学習は決して失敗ではありません。
最もリスクの高い仮定をすばやくテストするための最小の手順を見つけます。

Ryan Thomas：「Eメールサインアップの最適化」

電子メールのキャプチャは、主な目標に反する場合があります
- 例コンテストポップアップを最適化すると、メール登録数が300％以上増加しましたが、eコマースのコンバージョン率とAOVは低下しました
- 修正：コンテストを今すぐ販売を奨励するオファーに置き換えます（ウェルカムオファーと終了オファーの組み合わせで少額割引）
- メール登録の同様の増加に加えて、トランザクションのコンバージョン率と収益の増加
なぜ電子メールのサインアップに焦点を合わせるのですか？
- データを見てください。多くの場合、電子メールトラフィックが最高のパフォーマンスを発揮します。タイムラグとパスの長さの例— 3分の2は同じ日に変換されますが、最初のタッチポイントでは半分未満です
- 顧客との関係を構築する
- テスト戦略：独立したKPI（他のテストと競合する可能性は低い）。トラフィックが少ない：十分なマクロ変換がない場合は、ここでテストできる可能性があります。学習としてのテスト：メッセージングとモチベーションを試してください
ResearchXLプロセス
- ヒューリスティック分析
- マウスの追跡
- Web分析
- ユーザーテスト
- 定性調査
- テクニカル分析
顧客調査
- 自由形式の非主要な質問
- 動機、意思決定プロセス、ためらい、欲求不満について調べてください
洞察はどこからでも得られます
データポイントを関連付けてロードマップ（PXL）に優先順位を付ける
その他の例：
- 頻繁に購入する製品のコンテストポップアップを最適化すると、eコマースの指標に影響を与えることなくメール登録が増加しました
- 電子メールのサインアップが95％増加し、トランザクションのコンバージョン率がわずかに上昇する前に存在しなかったウェルカムオファーを追加する
要点：
- 戦略をビジネスにとって重要なものに合わせます。バニティメトリックはありません。
- さまざまな戦術、ツール、オファー、デザインを試してみてください。
- あなたの研究をしてください！

ニーナ・バヤッティ：「それは本当に勝者でしたか？追跡する必要のある目標到達プロセスのデータ」

監視できる指標はたくさんあります。
- 変換速度;
- バウンス率;
- クリック率;
- ページビュー;
- リードキャプチャ;
- 購入コンバージョン率。
しかし、彼らは全体の話をしているわけではありません。
自信を持って結論を出すには、目標到達プロセスのデータを分析する必要があります。
ClassPassでは、紹介は新しいクライアントを呼び込むために重要であると考えているため、紹介を奨励することは理にかなっています。
- 彼らは、仲間と一緒に運動するための10の無料クレジットを提供することをテストしました。
- 招待状は50％増加しました。紹介の獲得が35％増加しました。
- それから彼らは、他のチャネルを食い物にしていることに気づきました。紹介として変換する人々は、すでに他のチャネルから獲得したリードでした。
成功のための実験の設定：
- 成功指標を定義します。
- サンプルサイズを決定するときは、すべての目標到達プロセスのステップを考慮してください（つまり、目標到達プロセスの底の分析にも十分な大きさにします）。
- 目標到達プロセスのレバーを特定して繰り返します。
- インセンティブは機能しますが、うまく機能しすぎて、実際にはサービス/製品に興味がない人を変えたり、他のチャネルを共食いしたりする可能性があります。
- 勝利したテストが成長とコストに与える影響を常に考慮してください。

エリック・アレン：「負けたテストも勝者になる可能性があります。負けた実験を評価し、そこから学ぶ方法。」

実験のコスト—逆さまがコストを上回っていることを願っています。
なぜ失うのが痛いのですか？損失は私たちの心の中で利益よりも大きいです。
知識を学ぶ：知識は有限です。損失からでも学習を導き出すことができる方法ですべての実験を設計します。
Ancestry.comはテストの失敗を再設計します：
- 最初のテスト：変数を分離するために必要な変更が多すぎることを学びました。
- 2番目のテスト：消費者はパッケージ間の違いを理解しておらず、最低価格を選択しているだけです。
- 3番目のテスト：オファーページが複雑すぎて、消費者がページに多くの時間を費やしています。
- 4番目のテスト：現在、短期間のパッケージを利用している人が多すぎます。
- 5番目のテスト：これは機能していません。元に戻します。
損失を再構成する方法を学びましょう。「 A / Bテストは授業料です。 学ぶにはお金がかかります。 」
テストの影響：
- ベースライン実行率：年間1億ドル。
- テストリフト：10％;
- テスト期間：90日（25％）;
- 悪影響：250万ドル。
- 総収入：9,750万ドル。
テストなしの実装の影響：
- ベースライン実行率：年間1億ドル。
- テストリフト：10％;
- テスト期間：12ヶ月;
- 悪影響：1,000万ドル。
- 総収入：9千万ドル。
テストによる総節約額：750万ドル。
一連のテストから学ぶことは、損失を勝利に変えることができます。
要点：
- James Lind：コストはかかりますが、メリットもあります。
- ジェフ・ベゾス：実験を続けてください。
- Jay-Z：損失は教訓です。

Stefanie Lambert：「リアルトーク：最適化プログラムを構築する際に学んだ難しい教訓」

組織文化への敏感さは、すべての人の生活を楽にします。
- 会社が別の方法で物事を行う場合、それはあなたが適合しなければならないことを意味するかもしれません。
悪魔は細部にあります。
- 動きが速すぎるため、テストを数回再起動する必要がありました。
- 簡単なテストでは、GoogleAnalyticsとGoogleOptimizeの接続には数秒かかりましたが、接続しなかったため、2週間無駄になりました。
データに裏付けられていない場合は、おそらく機能しません。
- テストキューは、ほとんどがデータに裏打ちされたテストである必要があります。
- 衣料品ラインは、衣料品の品質を示し、画像を大きくしたいと考えていました。しかし、そのアイデアはデータから生まれたものではありません。
- 大きな画像を表示すると、ページに表示される商品が少なくなり、クリック率が低下しました。
例外的な結果を得るには、定量的および定性的なデータが必要です。
- テストを展開した後、フォームの開始が20％減少したことに失望しました。
- 新しいフォームは見栄えが良く、サイトの他の場所でもうまく機能していました。
- コントロールとバリエーションのユースケースについて、セッションの記録をフィルタリングしました。
- 新しいバリエーションでは、フォームは訪問者にフォームとして認識させるのに十分なほど際立っていたため、より多くのユーザーが去り、フォームが減少し始めました。
好奇心は猫を殺しませんでした。
- 難しい質問をするのに十分な気遣いで目立ちます。（例：「これは本当に良いですが、もっと良いでしょうか？」）
- 私が始めたとき、ツールからのデータに基づいて大規模なビジネス上の意思決定を行うことに不快感を覚えました。
- 私はデータを信頼するために統計を学ばなければなりませんでした。

Lizzie Eardley：「実験で統計的な幽霊を追いかける」

統計的ゴースト：テストがメトリックに影響を与えたと思うが、実際には影響がない場合。あなたはデータにだまされています
100,000回のA / Aテストを実行：A / Aテストの60％で、少なくとも1％の差が測定されました。
「統計的に有意ではない」とは、影響がなかったことを意味するのではなく、帰無仮説を棄却するのに十分な証拠がないことを意味します。
統計ゴーストの4つの原因：
- 多重比較;
- 覗く;
- 悪いメトリック;
- ほとんど重要です。
多重比較：
- p値を調整することによってこれを説明する必要があります。
- 誤検知の可能性は、各比較に適用されます。
- 例1つの比較：誤検知の可能性が5％。 8つの比較、34％の確率で誤検知！
- 1つの主要な指標に基づいて仮説を立て、次に2番目の指標を選択します。
覗き見：
- 事前に決定された実験の終了前に、データを確認してアクションを実行します。
- これは、偽陽性率に大きな影響を与える可能性があります。
- 覗く正当な理由：バグをチェックし、災害を止め、効率を上げます。
悪いメトリック：
- 優れた指標とは、意味があり、解釈可能で、感度が高く、テストに適していることを意味します。
- 意味のある：変更しようとしたものをキャプチャします。
- 解釈可能：変更によってユーザーの行動がどのように変化したかが簡単にわかります。
- 敏感：小さな変化をより速く検出できます。
- テストに適合：通常のテストは独立性を前提としており、そのエラーは正規分布しています。
ほとんど重要：
- 誘惑の幽霊。人々は自分が望んでいることを信じたいと思っています。
- 「ほぼ」重要なものはありません！

エミリーロビンソン：「A / Bテストの6つのガイドライン」

実験プロセスのステップ：
- 処理する。あなたはすべてをすることはできません、そしてあなたがしていないことはまだ重要です。
- 作成。
- 分析しています。
- 意思決定。次に何をするかを決める方法は？
データが少なければ少ないほど、意見は強くなります。私たちの意見はしばしば間違っています。 HiPPO（Highest Paid Person's Opinion）にあなたのアイデアを殺させないでください。 代わりに実験してください。
履歴データから始めます：あなたのテストアイデアの母集団は何ですか？現在のコンバージョン率と推定増加率はどれくらいですか？
検出力分析を実行します！停止点を決定し、フォールスネガティブを回避するために重要です。（80％は、変更があればそれを検出する可能性が80％あることを意味します。）
一度に複数の変更を試みた場合、何が機能しなかったかを把握することは不可能です。代わりに、より小さな増分テストに取り組んでください。
- Etsyは、テストが終了した後、すべての変更をリリースすることから始めました。
- より小さなサイクルでA / Bテストの変更を実装するためのより詳細なプロセスに移動しました。
それらをリリースする前にプロトタイプのアイデア。
適切な指標を追跡していることを確認できる科学者を関与させます。また、電力の計算やアイデアの反復にも役立ちます。
意思決定：
- 追加する技術的な複雑さと負債は何ですか？
- それは基本的な機能ですか？
- 小さすぎて検出できない悪影響があるでしょうか？
ニュートラルでの立ち上げには注意してください。意思決定をサポートするための確固とした戦略や十分なデータがありません。

Valerie Kroll：「行動を促すためにテスト結果を提示する方法」

データを提示するときの重要な質問は、「聴衆に何を持って行ってもらいたいですか？」です。
テンプレート式：
- テストした理由;
- 私たちがテストしたもの;
- 結果;
- 学習;
- 次は何ですか。
スライドはプレゼンテーションではありません。 あなたはプレゼンテーションです。
あなたのビジネスケースを述べてください：
- これをどこでテストしていますか？
- 聴衆は誰ですか？
- 何を測定しますか？
論文を述べる。（例：「バリュープロポジションチャットプロンプトはリードキャプチャを増加させますか？」）
実験の測定方法を定義します。
- 仮説ステートメント;
- プライマリKPI;
- セカンダリKPI。
プレゼンテーションをインタラクティブにする：投票を実行します。何が勝つと思うかを人々に尋ねます。
結果の提示：
- プライマリKPIへの影響。
- プライマリKPIの1つの視覚化。人々はあなたの結果をよりよく理解するでしょう。
- 他に見つけたものを表示するためのセグメンテーション。
- 学習と行動を並べてください。（これには、プレゼンテーション時間の40〜50％かかるはずです。）
何かがプレゼンテーションに追加されていない場合、それはそれを取り除きます（例えば、統計、技術情報など）。
予測可能なテンプレートを用意します。人々は何を期待するかを知っています。あなたの仕事をより速くします。

アンドレ・モリス：「私たちは皆死ぬ：なぜ「最適化」が進化の加速であるのか」

サッチャー錯視（1980年、ライブ実験）：顔の逆さまの写真の変化を認識するのは難しい（マーガレットサッチャー）。
パターンがわからない場合は、認識できない可能性があります。CROについても同じことが言えます。
あなたは物事の背後にある真実を見るために視点を変える必要があります。
例コメルツ銀行が死にかけているのはなぜですか？
- 率直に言って、経験は最悪です。
- しかし、なぜ？彼らにはデザイナー、CRO、アナリストがいます
- 無知なHiPPO—経営陣は苦痛を感じません。
「真実、より正確には現実を正確に理解することは、良い結果を生み出すための不可欠な基盤です。」
破壊的なビジネスモデルについて話さないでください。混乱させる人はそれについて話しません。彼らは混乱するのに忙しすぎます。
デジタルの成長はテクノロジーによるものではありません。それは素晴らしい顧客体験に基づいています。
カスタマーエクスペリエンスをテストする意図がない場合、結果は表示されません。
最適化は本質的にアジャイルです。CROは、組織が行ったことは何でも良かったか悪かったかを証明するために、チームに新しいデータを提供します。
優れたオプティマイザーは、顧客中心のアイデアを生み出します。
アマゾンの利点は、彼らが継続的に新しい洞察を生み出していることです。
- それは波です—アジャイル津波。（見えません。）
インフィニティ最適化プロセス：分析、優先順位付け、検証。
管理の考え方を変更します。
- 管理者は、Webサイトで何が変更されたかを気にしません。
- 実験プログラムのROIを経営陣に提示します。
- ヒント：CFOと友達になりましょう。
- 経営幹部の円卓会議—経営陣が問題について話し合い、意欲的になる（つまり、プログラムを販売する）ことができます。
- 経営陣は大きなことを望んでいます！しかし、彼らは小さな変化がより大きな結果（複合効果）をもたらすことを忘れています。

John Ekman：「デジタルトランスフォーメーションで何が壊れているのか（そしてそれを修正する方法）

「デジタルトランスフォーメーション」は良い目標ではありません。
- 目標は、「製品を迅速に市場に投入する」または「優れたカスタマーサービス」です。
- 私たちは（間違って）目標を変更してはならないときに「デジタルトランスフォーメーション」の目標を設定しました。目標を達成するためのツールだけです。
デジタルトランスフォーメーションの5つの方法：
- 製品をデジタル化します。
- 製品の周りにデジタルサービスレイヤーをラップします。
- 「舞台裏」でプロセスをデジタル化します。
- マーケティング、販売、維持の取り組みをデジタル化します。
- 新しいデジタル製品を革新します。
デジタルトランスフォーメーションの5つの方法の中から、選択して優先順位を付ける必要があります。デジタルリーダーでさえ、1つか2つの点で優れているかもしれませんが、他の点では優れていません。
リーダーシップは、それが莫大なお金を費やしていると考えています。開業医は彼らがリソースを持っていないように感じます。
- 現実には、それはホッケースティックの成長です。結果を表示する前に、大量のお金を費やす必要があります（その後、結果は指数関数的になります）。
- 進行中のイニシアチブに割り当てる前に、新しいイニシアチブに予算を割り当てます。
目標と評価がずれている：
- 小さなプロジェクトは全体像の中で組織化されていません。
- デジタルトランスフォーメーションでは、収益の規模や必要な投資がわかりません。 ROIだけを見ても、未来へと駆り立てられるわけではありません。
- ソリューション：OKR（Google）、イノベーションアカウンティング（Eric Ries）、従量制資金（VC）。
3つのデジタルスーパーパワー：
- （1）顧客の話を聞く能力。
- あなたが聞くとき、あなたは（2）行動することができます。そうでなければ、あなたは間違った情報に基づいて行動します。
- 両方がある場合は、（3）スケーリングできます。そうしないと、間違ったものをスケーリングします。

Critchlow：「勝利したCROテストが検索トラフィックを台無しにしている場合はどうなりますか？または、SEOの変更がコンバージョン率を低下させていますか？」

一般的な懸念は、SEOがCROを台無しにすることであり、その逆ではありません。
- CROは目標到達プロセスの最下部を扱います（より多くの人々が売り上げに転換します）。
- SEOは目標到達プロセスの上部を扱います（目標到達プロセスにさらに多くの人を追加します）。
多くのCROページはインデックスに登録されていませんが、多くはインデックスに登録されています。CROテストはオーガニックトラフィックに悪影響を与える可能性があります。（私たちはそれが起こるのを見てきました。）
実験：SEOと非デジタルマーケターは、2つのページのどちらが上位にランク付けされるかを評価するように求められました。
- 予測で50％の精度に到達した人は誰もいませんでした。
- SEOは非SEOよりわずかに優れていました。
では、どうすればより良い予測を行うことができるでしょうか？ SEOテスト（DistilledODN）。
あるニッチで機能する変更が別のニッチでは機能しない場合があります。テストする必要があります。
- SEOの「ベストプラクティス」はサイト/業界固有です。
UXはランキング要素です（多分）：
- Googleは、機械学習モデルをトレーニングして、人々が好むものと同じものを好むようにします。
- しかし、Googleは完璧ではありません。すべてのアルゴリズムを変更してもその目標は達成されませんが、それが彼らがやろうとしていることです。
- したがって、UXの基礎からSEO仮説を構築する必要があります。
最終的には、SEOとCROの影響を同時にテストする必要があり、その恩恵を受けることになります。私たちは同じチームにいます。

Brennan Dunn：「完全にパーソナライズされたエクスペリエンスを大規模に提供する方法」

多くの人は自分がパーソナライズしていると「考え」ていますが、役に立たないパーソナライズがたくさんあります。
私が実際にパーソナライズしたいもの：私の意図、私の行動、私の知識レベル。
セグメンテーションの2つの主要な仕事：
- メッセージをより関連性が高く、より具体的にする。
- セグメンテーションを使用してレポートを改善します。
セグメンテーションでは、私が気にする2つのことは、「誰」と「何」です。「私は[空白]であり、[空白]についてあなたの助けが必要です。」
人を自動的にセグメント化する方法：
- 意図/行動
  1. 誰かが私たちのサイトで読んだ最後の10〜20の記事は何ですか？
  2. 元のランディングページ。
  3. 彼らがクリックした広告（特にFacebook広告に当てはまります）。
  4. 紹介。
- 行動
  1. 購入。
  2. 鉛磁石。
  3. ウェビナー。
- 調査
  1. トリガーリンク：「現在、最も焦点を当てているものは何ですか？」
  2. 調査。「今日、私たちのサイトで何をしたいですか？」
  3. ホストされた調査。
- Clearbit
セグメント化する方法がわからない場合はどうなりますか？
- 誰かが電子メールコースに参加したり、リードマグネットをダウンロードしたりするときは、空白を指すように依頼してください。（例：「このメールコースから何を取得する必要がありますか？」）
パーソナライズにより、実際にニッチなビジネスでなくても、ニッチなメッセージングを使用できます。
思考を減らし、エンゲージメントを増やす=コンバージョンを増やす。
結局のところ、パーソナライズは重要です。

Chad Sanderson：「製品開発とマーケティング全体で実験を調整する」

マーケティング部門とエンジニアリング部門は、並行して実験を行い、競合に遭遇したい場合があります。
製品に近い人は、ビジネスをより引き付けることができます。
さまざまな種類の企業：Tech First（Bing、LinkedIn）、Second（Booking.com、Grubhub）、Third（Sephora、Target）。
業種によって、次のような違いがあります。
- 最適化。この機能は、実験ツールなしでは存在しません。実験計画は、スプリントサイクルの外で発生する可能性があります。
- 検証。この機能は、実験に関係なく存在します。実験計画は開発サイクルの一部です。
Snapchatの大幅な再設計は、ユーザーレビューで83％に見舞われました。これは、検証ベースのプロセスでは回避できなかった大惨事の例です。
ページスピードキル。最適化はコンバージョン率を5％以上殺しますか？クライアント側の実験テクノロジでは、レイテンシを1000ミリ秒未満しか増やすことができません。 100ミリ秒の遅延ごとに、RPVが0.5％減少します。
成功へのステップ：
- 現在の構造を理解する：最適化または検証。
- カバレッジが不足している場所を特定します。 ROIは追跡されますか？製品は実験とともに出荷されますか？
- 人や部門間のギャップを埋め、プログラム指標の相互目標を取得します。
- 結果を共有し、共同プロジェクトに取り組むためのフォーラムを確立します（個々のテストではなく、グローバルプログラムレベルでの結果）。
- メトリックを一貫してレビューし、対立する力を解決するための毎月の会議。

Natasha Wahid：「組織全体を実験に夢中にさせる方法」

文化は実験を成功させる要因です。このシナリオを考えてみましょう。
- 一人の女性の最適化チャンピオンが、実験のために全員からアイデアを調達し始めます。
- 彼女はたくさんのアイデアを得るが、彼女は一人の女性のショーであるため、彼女は雪に覆われる。
- しばらくすると、それは冗談になります—アイデアが死ぬ場所です。
どうすればもっとうまくいくことができますか？
- インスパイア—スパーク。人々に行動する動機を与えます。
- 教育—トレーニング。公式または非公式。
- 通知—知識、行動を伝える。
コアチームがプログラムを所有しています。彼らは経営陣の賛同を得て勢いをつけることに焦点を合わせています。
例使節
- ミシェルは、コアファネルを最適化しないことで、会社に欠けていたものを強調しました。
- リードエンジニアとデザイナーを採用。彼らはまた、外部機関から可能にするパートナーを連れてきました。
- 誰もが実験の影響を見ることができました。エンジニアは、勝利のバリエーションをすぐにハードコーディングしました。
例平方
- 視認性が最も高い製品チームの1つは、タンクに入れられた再設計を経ていました。
- 実験に関する人々の考え方を変えることに焦点を当てたワークショップを主催しました。
- コラボレーションの促進に焦点を当て、現在のチームに関連する可能性のある他の実験からの洞察があったかどうかをチームに尋ねました。
RACIモデル：
- R –責任–実際の作業を行う。
- A –説明責任–プロジェクトの所有者。
- C –コンサルタント–プロセスの管理に関する情報を提供します。
- 私–情報–常に情報を提供する必要がある人々。
RACI通信の例：
- 所有者：実験チャンピオン。
- メッセージ：実験Xが開始されました。
- チャネル：Slack通知。
- 対象者：エンジニアリングチーム。
- タイミング：ツールで実験が開始されると自動的に。

結論

この投稿は、5,000語未満に凝縮された21の30分セッションです。会議セッションの内外で完全な体験が必要な場合は、そこにいる必要があります。

良いニュース？ 1年待つ必要はありません。 6月13〜15日にエストニアで開催されるデジタルエリートキャンプにご参加ください。