有些企业想用AI整理合同、审核标书,却不能把业务资料发到公有云,手头也没有昂贵的多卡服务器。中国电信开源的Xing4.0-29B-A4B瞄准了这个缺口:模型可在企业自有设备或内网运行,让原始文档留在本地。
它有290亿总参数,但采用MoE(混合专家)架构,每次处理任务只调用约40亿参数。再经过4-bit量化——用较低精度保存参数来节省显存——模型的单卡显存占用从传统FP16精度下约60GB降至约15GB,降幅约75%,因此一张配有24GB显存的RTX 3090就能运行。报道还称,它可在本地约20分钟完成一份200页投标文件的技术、商务和价格初评,并逐条给出评分依据。
这件事的价值不只在“跑起来”,而是把AI办公带进数据不能出域、算力又有限的场景。不过,上述任务效果来自供稿报道,4-bit量化可能带来能力损失,实际表现仍需企业结合自己的文档与流程验证。