想象一家实验室把测量文件堆在许多共享文件夹里:有人为了归档复制一份,有人为了高性能计算(HPC)再复制一份。久而久之,谁也说不清有哪些数据、原件在哪、哪些只是副本。这里要建的“目录”不是再加一层文件夹,而是数据目录(data catalog)——一份记录文件位置、内容和关系的可搜索索引。
一位 Reddit 用户描述的正是这种处境:PB 级 NFS(让多台服务器共享远端目录的文件系统)装满测量数据,但常见搜索结果多面向云端结构化数据。实际使用者只能逐层翻目录,或请同事发送链接。更棘手的是重复检测:可以读取文件内容并计算哈希值,把它当作“指纹”寻找相同副本;可在 PB 级存储上全面读取,成本也必须控制。
这则讨论值得基础设施团队留意,因为需求并不神秘:先扫描路径、大小、修改时间等元数据,再补充搜索、血缘和重复数据视图。不过,原帖只是在征集 Diskover、Komprise 等工具的真实经验,并未给出经过验证的方案、性能数据或最终选型。