主要問題：對營銷很好，對研究很糟糕

已發表: 2021-07-22

好的用戶研究會向正確的人提出正確的問題。如果您在任一方面都失敗了，您可能會對不良數據做出價值數百萬美元的決定。

引導性問題是一種毒害數據的簡單方法。引導性問題是“以一種旨在產生所需答案的方式提出的問題”。

如果您從事過市場營銷或銷售工作，您就會很清楚引導性問題：它們在引導消費者對產品或服務表示“是”方面非常有效。（“你想在不離開沙發的情況下減掉 10 磅嗎？！”）

這種力量與它們對用戶研究如此危險的原因相同，特別是因為“主要問題”可能由問題中的文字以外的因素引起：

問題題目；
詢問的順序；
答案選項；
調查範圍的方面。

所有這些都有可能讓受訪者得到“想要的答案”——並毀掉你的數據。

一個短語如何影響回應

在 Norman M. Bradburn 的經典著作《提問：問卷設計權威指南——針對營銷研究、政治民意調查以及社會與健康問卷》（本文的核心來源）中，作者闡述了語言的微妙轉變如何影響回答：

兩名神父，一名多米尼加會士和一名耶穌會士，正在討論同時吸煙和祈禱是否是一種罪過。在未能得出結論後，每個人都去諮詢各自的上級。下週他們又見面了。
多米尼加人說：“好吧，你的上司怎麼說？”
耶穌會士回答說：“他說沒關係。”
“這很有趣，”多米尼加人回答。 “我的上司說這是一種罪過。”
耶穌會士說：“你問他什麼？”
多米尼加人回答說：“我問他祈禱時抽煙是否可以。”
“哦，”耶穌會士說。 “我問我的上司是否可以一邊吸煙一邊祈禱。”

正如美國調查結果所表明的那樣，一個短語改變反應的可能性是真實而普遍的：

示例 1

在不治之症的情況下，應該允許醫生“協助病人自殺”：51%同意
在不治之症的情況下，應該允許醫生“以某種無痛的方式結束病人的生命”：70%同意

示例 2

“婚外生孩子”在道德上是錯誤的：36% 同意
“未婚女人生孩子”在道德上是錯誤的：26% 同意

示例 3

“你認為美國應該允許公開反對民主的言論嗎？” 21% 同意
“你認為美國應該禁止反對民主的公開演講嗎？” 39% 同意

有些問題可能沒有正確的措辭，但每個選擇都會產生影響。而且，正如 Bradburn 所指出的，複雜性可能會加劇：

弱者的態度更容易受到措辭變化的影響。
任何年復一年的措辭變化——即使是提高了回答準確性的變化——都可能使前幾年的比較無效。

為了提高回答的準確性，您需要了解問題、答案和調查中的變量如何（有意或無意）引導受訪者獲得給定答案。

引導性問題

當您想到引導性問題時，您可能會首先想到這些問題的語言——詞語和措辭。但問題類型、主題和順序也同樣具有影響力。

提問語言

以下哪個是主要問題？

“您的雇主或他的代表是否使用詭計來騙取您的部分收入？”
“關於收入，你的雇主對你公平還是不公平？”

前者是一個明顯的主要問題，是卡爾·馬克思在早期對工人的調查中是如何構建它的。後者摒棄了“詭計”和“欺詐”等詞，提出了一個更中立的問題。

像馬克思這樣故意引導問題不太可能困擾您的調查。但微妙的選擇可能會產生影響。例如：

新設計是否比舊設計更易於使用？ “新”和“舊”的使用暗示了受訪者的期望，他們也準備考慮這些變化是否使網站“更容易”使用。
一種設計比另一種更容易或更難使用嗎？ 這種措辭消除了舊與新引入的偏見，並賦予積極或消極體驗同等的權重。

此外，有些詞雖然看似可以互換，但其含義會扭曲結果。例如，向受訪者詢問“福利”——一個帶有政治色彩的話題——與“對窮人的援助”相比，得到的支持程度大不相同：

在網頁設計的上下文中，很容易想到類似的例子：將內容稱為“廣告”而不是“贊助”或將元素標識為“彈出窗口”而不是“燈箱”可能會影響響應。

與引導性問題類似，另外兩種類型的問題也會使響應數據產生偏差：

雙管問

連詞會給問題帶來風險。 “和”和“或”通常會導致雙重問題，迫使受訪者同時回答兩件事：

“你對你辦公室的薪酬福利滿意嗎？”
“您如何描述您嘗試查找博客或網絡研討會內容的經歷？”

雖然雙管問題在技術上與引導性問題不同，但最終結果是相似的：措辭不當會導致受訪者提供不准確的信息。

加載的問題

與提示所需答案的引導問題不同，加載問題假設一個：

“瀏覽新設計是否更容易？” （領導）
“你最喜歡哪個設計改進？” （加載）

一個沉重的問題實際上是一個“硬”引導：受訪者別無選擇，只能同意，他們的回答只是證明了同意。

當問題涉及敏感話題時，語言的選擇變得尤為重要。

問題主題

布拉德伯恩寫道：“儘管受訪者有動力成為‘好受訪者’並提供所需的信息，但他們也有動力成為‘好人’。”

在調查中，社會期望偏差——受訪者希望被視為道德、聰明、健康或任何其他有價值的特徵——可以將看似無害的問題轉化為引導性問題，從而導致結果出現偏差。（根據 Bradburn 的說法，當受訪者親自或通過電話回答問題時，這種偏見會更強。）

舉一個簡單的問題：“平均而言，你每天花多少時間在社交媒體上？” 社會需求偏見可能會導致漏報——花一整晚時間瀏覽 Facebook 的動態消息並不是什麼值得吹噓的事情。

為了獲得更準確的回答，問題的語言需要提供“出局”——減輕社會期望偏差影響的方法。 這樣做的最佳方法取決於關注的行為是否被低估或高估，或者是基於知識的問題。

漏報行為

引導性問題有時可以提高回答的準確性。添加一個開始條款來規範行為可以讓受訪者感覺更舒服：

“普通人每天在社交媒體上花費的時間超過兩個小時。你平均花多少時間？”

你也可以使用一個加載的問題（只要你保留一個“無”選項）來暗示“每個人都在做”：

“你每天抽多少支煙？”

第三種選擇是添加權威的觀點：

“梅奧診所報告說，紅酒可能有益於心臟健康。你多久喝一次紅酒？”

過度報告的行為

“你慢跑嗎？” “你今年讀了多少本書？” 這兩個問題都沒有重大影響，但由於社會意願偏見，這兩個問題都有可能被高估。

對抗這種偏見就像添加一個短語來規範負面反應一樣簡單：

“你碰巧慢跑，還是不慢跑？”
“你今年讀了多少本書，如果有的話？”

類似的短語對其他問題類型很有用。考慮這兩者之間的區別：

“你喜歡什麼……？”
“如果有的話，你喜歡什麼……？”

雅詩蘭黛了解到，後者導致受訪者更頻繁地選擇“無”。

對於類似的問題，Bradburn 提供了另一種解決方案——提供某人可能不執行該行為的原因：

當行為不常見時，過度報告的風險就會增加。 正如一項經典研究所證明的那樣，一個像“你有借書證嗎？”這樣基本的問題。大大夸大了報導。

擁有一張借書證是社會所希望的，但在研究地點，少數人口擁有一張。相對罕見的持卡人膨脹結果比現代安全帶使用情況調查要多（因為大多數人都係安全帶）。

提供“出局”的需要也適用於基於知識的問題。

基於知識的問題

沒有人想成為一個白痴。這種願望可能會導致對基於知識的問題（例如品牌知名度調查）的過度報告。受訪者認為他們應該知道答案，因此他們更有可能選擇“是”。

用暗示不需要知識的短語來中和基於知識的問題：

“你碰巧知道嗎…”
“據你所知……”
“你能不能馬上回憶一下……”

另一種策略是將知識問題轉化為意見問題。乳腺癌的症狀和可能的發病年齡是已知的，但將基於知識的問題重新定義為意見可以讓受訪者坦率地陳述他們的信念：

問題類型

由於默許偏見，單極問題——那些只考慮回應的一側的問題——可以作為引導性問題。受訪者，尤其是對某個主題了解有限的受訪者，更有可能同意某項陳述。

單極問題或提示，例如同意-不同意格式的問題或提示，不提供替代方案。例如，在“非常同意非常不同意”的範圍內，您會如何回應以下提示？

“廣告是新聞網站賺錢的最佳方式。”

如果將相同的提示更改為強制選擇格式，您會如何回應？

“廣告是新聞網站賺錢的最佳方式。”

或者

“付費專區是新聞網站賺錢的最佳方式。”

撇開默許偏見不談，最初的陳述可能會引發負面情緒。（誰喜歡廣告？）包含主要替代方案的第二個選項——要求你打開錢包——可能會導致受訪者重新考慮。

皮尤研究中心的一項民意調查強調了潛在的分歧：

雙極問題的優勢在於它們讓受訪者意識到光譜兩端的選項，而不是引導受訪者孤立地關註一個選項。（小心：寫得不好的兩極問題也可能會導致錯誤的選擇。）

提問順序

“踏入門”的技術表明是肯定會產生肯定。如果您從一個適度的請求開始，然後再提出一個更大的請求，那麼您通過更大的請求獲得成功的機會就會增加。

在引導性問題的上下文中，這意味著對前一個問題的回答會影響對後續問題的回答。引導性的問題，換句話說，結果不只是從一個問題中的內容也有問題，之前的內容。

這是它可能發生的兩種方式。

一般與特定問題

“當一個一般性問題和一個更具體的相關問題一起被問到時，”布拉德伯恩解釋說，“一般性問題會受到其位置的影響，而更具體的問題則不受其影響。” 特定問題如果出現在第一位，可能會引導受訪者回答一般問題。

例如，拿兩個關於營銷知識的問題，從一般到具體排序：

“您如何評價您的營銷團隊的整體知識？”
“您如何評價您的營銷團隊對多元測試的了解？”

上述順序更有可能產生準確的響應。如果順序顛倒，關於多變量測試的初始問題可能會以兩種方式影響更一般的問題：

缺乏多元測試知識可能會使響應者對其團隊的整體知識更加悲觀。
一般問題可能會被誤解為指除多元測試知識之外的所有內容。

先問更一般的問題的第二個好處是，它使回答與其他調查具有可比性（假設其他調查也首先問了更一般的問題）。

漏報行為

問題順序還可以通過使用上門技巧幫助收集更準確的數據——引導受訪者承認社會上不受歡迎的行為。

Bradburn 分享了一項旨在了解入店行竊的調查中的示例。問題的順序從更嚴重的犯罪行為開始，以使調查的真正目標，入店行竊，顯得不那麼離譜：

在某些情況下，消除引導性問題的唯一方法是“在包含備選方案的選擇列表中明確問題措辭中隱含的有偏見的選擇。”

答案在引導問題中的作用

在某種程度上，問題表述和記錄答案的技術之間的區別是人為的，因為問題的形式通常決定了記錄答案的最合適的技術——也就是說，一些問題通過它們的回答類別來表達它們的含義。 – 諾曼 M. 布拉德本

即使有一個完美的問題，可用的答案選擇——以及它們出現的順序——也會使回答產生偏差，並對主要問題進行逆向工程。答案格式的最大區別在於開放式和封閉式回答之間。

開放式回答

開放式回答通常是用戶研究的首選——而不是將用戶裝進一組預先確定的答案，它們為人們提供了一個機會，用他們自己的話來說，什麼對他們最重要。

這通常更容易避免引導性問題：您可以提出更廣泛的問題，這些問題不建議規範或將回答限制為四五個選擇。另一方面，帶有開放式回答的問題假設受訪者考慮了所有選項。

例如，當 Pew 向受訪者詢問選擇總統時最重要的問題時，只有在封閉式版本中，經濟才成為主導問題：

封閉式回答是有用的提醒——也許經濟是最有影響力的因素，但很難回憶起來——還是扭曲的因素尚不清楚。

一種解決方案是與試點小組（或年度調查的第一年）進行開放式調查，然後使用這些答复創建一個封閉式版本，以準確反映答复的範圍。

當您希望通過標準化範圍來避免對受訪者產生偏見時，開放式問題也很有用。 Bradburn 指出，受訪者傾向於避免極端的答案，因此他們不太可能為不受歡迎的行為選擇範圍的最高端，或者為理想的行為選擇範圍的最低端。

當受訪者不確定“正常”範圍時，開放式策略可能會奏效，例如人們晚餐吃牛肉的頻率：

然而，開放式回答確實需要更多時間來對答案進行編碼，如果編碼不當，可能會引入錯誤。有偏見的編碼工作甚至可能破壞最中立的問題和答案。

在某些情況下，封閉式回答有好處還有另一個原因：它們可以有意地使受訪者可能不願意報告的行為或態度正常化。

封閉式回應

不管是好是壞，封閉式的回答設定了界限並提出了規範。反過來，這些描述會影響對問題的回答：

是或否響應選項可能會導致錯誤的確定性。 利克特量表可以更準確地反映可能性（例如“您購買此產品的可能性有多大？”而不是“您會購買此產品嗎？”）
數值範圍表示平均值和極值。 一種態度或行為的社會期望可能會朝著有利於響應者的量表的末端移動。
具有偶數個選項的量表會強制形成意見。 奇數個選項——中間是中性反應——讓受訪者坐在圍欄上。

雖然規範的建立是一種風險，但也是一種機會。如果您擔心漏報，則人為高端的範圍可以使行為正常化。（反之亦然。）

考慮這兩個潛在響應範圍內的隱式判斷：

左側版本中的“普通”觀察者有資格作為右側的“極端”觀察者。如果您希望獲得有關社交不良行為的誠實反饋（即使是像狂歡觀看 Netflix 這樣的良性行為），左側的版本可能會讓更多受訪者放心。

知識問題

對於具有封閉式回答的知識問題，“sleeper 答案”和“我不知道”選項可以捕捉並防止受訪者可能感到被迫選擇的不准確答案。

臥舖回答。 沉睡的答案可以幫助管理社會期望偏差。如果您擔心受訪者可能聲稱認識實際上他們不認識的概念或品牌，則一種解決方案是添加錯誤選擇：

Bradburn 認為，如果 20% 的受訪者選擇 Duck Peninsula，其他品牌的知名度可能會膨脹到類似的程度。

“我不知道。” 為知識問題保留“我不知道”的回答有助於規範化無效回答並減少胡亂猜測。

這些答案出現的順序也很重要。

接聽命令

對於受訪者看不到答案的調查——通過電話或面對面的採訪——序列位置效應發揮了作用。人類註意力和記憶力的局限性使得更可能選擇早期反應選項。

對抗連續位置效應以及響應順序的任何潛在影響的一種解決方案是改變響應的順序。 （該解決方案不適用於具有自然順序的範圍或度數。）

對於對社會不良行為的回應，布拉德伯恩建議從最不理想的選項開始。 這可確保受訪者通讀更多的潛在回應，而不是立即看到並選擇最符合社會需求的回應。

調查的更大背景也發揮了作用。

調查在引導問題中的作用

受訪者知道您為什麼要進行調查嗎？與“消費者偏好”調查相比，一項關於“肥胖流行病”的調查可能會少報快餐消費。

此外，受訪者希望成為好人，受訪者可能會偏向於告訴您您想听到的內容。如果 UX 設計師也在進行有關設計的採訪——並且受訪者知道這一點——他們可能會覺得有必要提供積極的反饋。

在面對面的調查中，訪調員的回答，無論是正面的還是負面的，都會導致受訪者詳細闡述或重新考慮他們的答案。語氣的改變或簡單的點頭都可以塑造反應。（如果你不能保持一張撲克臉，請讓其他人進行採訪。）

如果作為採訪者或調查制定者，您確實有自己的觀點，另一本定性研究基礎著作的作者歐文·塞德曼 (Irving Seidman)，建議：

讓你的觀點提前為人所知。
詢問受訪者他們對該斷言的看法。

在您完成調查草稿後，許多來源都推薦了同樣的事情：請組織外部的人查看調查。

對於那些擁有資源的人來說，預先測試可以幫助確定哪些問題可能會讓受訪者感到困惑或暗示。

結論

引導性問題不僅源於他們使用的語言，還源於他們提供的答案以及他們出現的調查背景。

語言的微妙之處可能意味著沒有完全中立的方式來表達問題或安排答案集。每一個選擇都會將受訪者引向某個方向。

因此，我們的目標不是假裝完全中立，而是以下列方式構建調查——問題和答案：

使受訪者清楚地了解問題和可能的答案。
在問題和答案中使用有助於受訪者對任何回答感到滿意的語言。
允許受訪者提供廣泛的觀點，而不會強迫他們做出錯誤的選擇或人為的僵化立場。