大模型回答一句话，背后要做大量矩阵乘法。DeepGEMM瞄准的就是这项“基本功”：它由DeepSeek开源，把GEMM——神经网络大量核心计算依赖的通用矩阵乘法——以及MoE、MQA等相关计算，整合进一套CUDA代码库。项目连续两天进入GitHub热榜，今日再增199星，说明开发者的注意力仍在向推理栈最底层延伸。
具体说，DeepGEMM提供GPU内核，也就是在显卡上并行执行的底层程序，并针对NVIDIA Tensor Core矩阵加速单元安排计算。它覆盖FP8、FP4、BF16等数据格式；所有内核通过DeepJIT在运行时即时编译，可等到模型形状和硬件条件明确后再生成，无须安装时编译CUDA。项目方称，其轻量设计在多种矩阵形状下可达到或超过专家调优库的性能；不过材料未提供完整对照数据。这不是直接改善聊天界面的应用，而是给框架和推理引擎开发者继续压榨速度的基础工具。