Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.105 — 2026-10-17
PAPER H 11 约 1 分钟

WebGPU要把端侧LLM内核炼成金矿

GPU Goldmines让浏览器按设备调优LLM内核,并复用历史测量加速搜索。

同一套浏览器端 AI,在一台电脑上跑得顺,换块显卡却可能明显变慢。原因是 GPU Kernel——交给显卡并行执行的小段底层程序——对分块方式、线程布局和浏览器环境很敏感。GPU Goldmines 想解决的,正是 WebGPU“到处能运行,却未必到处跑得快”的问题。

它把矩阵乘法、矩阵—向量乘法和 Flash Attention 做成可调内核,在目标设备上试验不同配置,再把测量结果存入中央数据库。最值得注意的是跨设备落差:作者在 RTX 5080、RX 7900XT、Arc B580 和 M2 GPU 上穷举部分配置后发现,为一台设备选出的 FP16 矩阵乘法配置,移到另一台设备时,平均只能发挥后者潜在性能的 77%。这说明跨平台不能只靠一套固定参数。

数据库还能减少重复摸索。作者称,面对未见过的设备,用历史配置作为搜索起点,可比从零调优快 52.4%;对数据库已有设备和固定输入尺寸,简单选择策略平均达到逐项深度调优性能的 90%。不过,论文文本未完整给出相对 ONNX Runtime、llama.cpp 及端到端推理的具体加速数字;代码和数据也计划在发表后开源。


供稿材料 SOURCES — 1
01
GPU Goldmines: Tunable WebGPU Kernels for Edge LLM Inference arXiv (cs.AI+cs.LG+cs.CL+cs.CV+stat.ML) · PAPER
原文 ↗

← 返回 2026-10-17 · 学术板块