在个人电脑上给 AI 接入私人资料,常见尴尬是:资料还没查,大模型和向量数据库就先争起了显存。Hillock 想换一条更轻的路线。它把文档中的人物、日期、技术规格等关系事实提取到 SQLite——一种无需单独服务器、直接读写本地文件的数据库。据项目作者自述,这套本地 RAG(先查资料、再让模型回答)可在 1.2GB 以内显存运行,资料导入约需 5 秒,且不调用生成式大模型。
它最具体的一步,是在回答前设置一道“相关性门禁”:把问题与事实图编码成 10,000 维超向量,再做匹配;若两者没有足够重合,就不启动大模型,从源头减少对无关问题的编答。0.8 版把这些向量压进 157 个 uint64 整数,并借助 CPU 的硬件 popcount 指令计数,作者称单次门控低于 0.01 毫秒。代价也很明确:Hillock 偏重精准命中,适合规格、人物和日期,不擅长宽泛的叙事或文学性总结;上述性能与效果均来自作者披露,材料未提供独立测试。