网页爬虫像采购员:时间和带宽有限,与其把各家仓库都扫一遍,再扔掉大批不能用的内容,不如先各抽几件货,判断哪里更值得深挖。这项工作把大模型预训练数据的质量筛选提前到了抓取阶段。预训练数据,就是模型学习语言和常识所用的海量文本;Host 则是 URL 中的主机名,可粗略看作同一主机名下的一组页面。
作者分析 Common Crawl 数据后发现,按不同质量分类器衡量,网页得分有约 43%—62% 的差异来自 Host 之间。更实用的一点是:先从每个 Host 抽取 3 个页面,已能帮助预测其余页面的质量;随后向样本得分较高的 Host 增加抓取深度,在模拟中,每次抓取获得的高质量页面可达到均匀分配或按链接中心性分配的数倍。链接中心性衡量网站在网页链接网络中的位置,但不等于内容优质;论文也发现,用它挑选 Host 相比随机排序提升有限,对部分分类器反而更差。这里的“质量”仍只是分类器预测的预训练用途,并非内容本身的绝对评价。