Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.085 — 2026-09-27
NEWS 约 1 分钟

DuckDB直接查询Hugging Face数据集

DuckDB可用SQL直接查询Hugging Face数据集,省去整套下载和导入。

IMAGE — DuckDB Blog

想从网上的公开数据里数几条记录,过去常得先把整套文件下载到电脑,再导入分析工具。DuckDB——一种无需单独部署服务器的本地分析数据库——现在可把 Hugging Face Hub 上的数据集直接当作文件查询。用户在 SQL 中写入 hf:// 路径,就能读取 CSV、JSONL 或 Parquet,无需预先制作本地副本。

这套能力其实从 2024 年 5 月发布的 DuckDB v0.10.3 起就已提供。它也支持用通配符一次查询多个文件:DuckDB 团队给出的例子中,一条语句统计 cais/mmlu 天文学任务的三个 Parquet 文件,共得到 173 行;再筛选问题中含“planet”的记录,得到 21 行。Parquet 是按列存储的格式,DuckDB 可只读取查询涉及的列。不过,“直接查询”并非完全不传输数据,而是省去手工下载整套数据;实际仍需从远端读取查询所需内容。


供稿材料 SOURCES — 1

← 返回 2026-09-27 · 数据板块