深度专题 FEATURES — 3
80B模型进浏览器:llama.cpp接上硬盘分页
llama.cpp 接上浏览器磁盘分页,48.4GB 的 MoE 模型能在 Chrome 中按需运行。
LFM 2.5:24B模型每次只唤醒2B
24B容量、每步仅激活2.45B:Liquid AI想把会用工具的推理Agent放到本地。
告别Mac:跨平台Xcode替代品突然爆红
xtool想把部分iOS开发流程搬到Linux和WSL,但离真正替代Xcode还有明显距离。
速览 BRIEFS — 8
NEWS
模型答到一半,也能在GPU间搬家
jitllm让模型生成途中搬迁计算层,最快暂停8.1毫秒,且不用重读提示词。
NEWS
英伟达Run:AI疑似转向Apache 2.0
Run:ai 疑似采用 Apache 2.0,企业部署和改造 GPU 编排平台或更容易。
NEWS
SonicBoom挑战llama.cpp的笔记本速度
SonicBoom用计算图优化在RTX 3050上跑出51.65 tok/s,开始挑战llama.cpp。
REPO
Google Workspace有了Agent原生CLI
一个入口打通 Google Workspace,还为 AI Agent 备好 40 多项技能。
NEWS
本地工作站终于有人管显存抢占了
vramble 自动换入换出本地模型,让多个 AI 工具共享有限显存。
REPO
SGLang开始专门服务语音与全模态模型
SGLang-Omni把语音与全模态模型接入统一服务层,连续两天登上GitHub趋势榜。
REPO
Rust版GraphRAG瞄准高性能知识图谱
EdgeQuake用Rust重做GraphRAG,让本地私有文档检索兼顾关系推理与缓存速度。
NEWS
Basalt顺手给Qwen推理引擎补上视觉
Basalt按需搬运视觉编码器,让Qwen看图不再长期占用显存