Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.102 — 2026-10-14
NEWS 约 1 分钟

给推理GPU做一个命令行top

把推理 GPU 做成实时“top”,一眼找出最拖时间的计算环节。

IMAGE — r/LocalLLaMA 日榜

大模型服务变慢时,排查往往像对着一长串账单找出最贵的一笔。graphsignal-top 把这件事做成了终端里的实时仪表盘:它借用 Unix top 按资源占用排列进程的思路,把 GPU kernel——GPU 上执行矩阵乘法、注意力或数据搬运的一小段程序——按最近 5 秒的耗时排序,并显示易读名称和类别。

它还能同时展示各块 GPU 的利用率、显存、功耗与降频情况,以及 vLLM、SGLang 等推理引擎的请求队列和生成速度。TTFT(从请求到首个 Token 的等待时间)与 TPOT(此后每个 Token 的平均生成耗时)也会给出中位数和高位值。作者展示的 Qwen3-32B 双卡案例中,NCCL all-reduce——多块 GPU 之间汇总数据的通信操作——占约四分之一 GPU 时间,主机同步等待它的时间则占整体时间的一半,瓶颈可以直接看见。工具还支持远程查看和单帧日志输出;不过这些能力与案例结果目前均来自作者自述。


供稿材料 SOURCES — 1

← 返回 2026-10-14 · 开源板块