想给网页加个 AI 助手，通常要先接上一台远端模型服务器：用户输入发出去，答案再传回来。WebLLM 换了一条路，把大语言模型直接放进浏览器运行，数据不必交给远端服务器。它借助 WebGPU——让网页调用显卡算力的标准接口——加速推理，也不要求用户安装原生桌面程序。项目连续两天登上热榜，说明这种“免后端、数据尽量留在设备上”的路线仍在吸引开发者。
它还兼容 OpenAI API 的请求与响应格式，原本连接 OpenAI 服务的应用较容易改接本地开源模型，并支持流式生成——答案边生成边显示——以及 JSON 模式等功能。项目列出的模型家族包括 Llama、Phi、Gemma、Mistral 和 Qwen，开发者可通过 npm、Yarn 或 CDN 接入。边界也很明确：模型实际跑在用户设备上，速度、稳定性和可用模型规模都会受本机硬件限制；接口兼容也不意味着模型能力相同。