有人为了拿报酬,随手乱填在线问卷,甚至冒充目标人群。直觉上,多设几道筛选题就能清掉这些假受访者。但 Pew Research Center 的研究提醒,筛选像一张有孔的网:它能捞走部分坏答卷,也可能同时改变留下来的人群,让样本产生新的偏差。
Pew 比较了诱捕题、预筛选和选民档案匹配三种办法。一个诱捕题询问受访者是否使用虚构的社交平台 Fizzypress。筛选确实改善了部分质量指标:未经筛选的在线自愿加入式样本中,7% 的人对15个问题至少回答10次“是”;概率样本——从总体中随机抽人的调查——里,这一比例只有1%,而诱捕题筛选后,两者更接近。
反直觉之处在于,筛选并未让所有结果都更准。以2024年 Harris 与 Trump 的投票选择为例,Pew发现,不筛选时的总体误差反而更小;通过筛选的人更偏向 Harris。研究也无法直接知道每种办法究竟清除了多少假受访者。说白了,单条规则或许能抓住一种异常,却不能一键证明其余答卷都真实,更不能保证筛完后的样本仍代表原来要研究的人群。