你搜“怎么让孩子愿意读书”,系统返回“培养儿童阅读兴趣”,意思很接近,评测标签却可能判它答非所问。问题未必出在检索系统,也可能是“标准答案”漏了。据 Towards Data Science 介绍,文章讨论的正是这种冲突:相关性标签说不匹配,embedding(把文本表示成数字、让意思相近的内容彼此靠近)却显示两者有明显的语义相似性。
这会让常用指标产生误导。precision 衡量返回结果中有多少被标签认定为相关;如果标签漏标了合理答案,这些答案就会被算成错误,直接拉低 precision。recall 衡量已标注的相关项目找回了多少,通常不会因此直接下降,除非漏标结果在固定名额里挤掉了已标注项目。文章因此提醒:看到低分时,先别急着归咎于 embedding 质量,应分别检查向量是否真的找错,以及标签是否制造了 false negative——实际相关却被记成不相关的结果。现有供稿未披露具体数据集、指标变化或实验数字,因此这项工作的价值主要是一条评测原则,而非已量化的性能结论。