让 AI 用印度本地语言讲数学、读代码,难点往往不是没人说这些语言,而是可供模型学习的数字材料太少。NVIDIA、IIT Madras 与 AI4Bharat 因此制作了 Nemotron-pretraining-Indic-v1:约 2.8 万亿 token,覆盖印度宪法列出的 22 种语言。token 是模型处理文字的基本片段,这个数字代表数据规模,并不等于文章数量。
这批语料最具体的看点,是同时照顾了真实书写习惯:按 Gemma-4 tokenizer 统计,其中 2.601 万亿 token 使用本族文字,另有 2246 亿 token 是 12 种语言的拉丁字母转写,合计形成 34 种“语言—文字”配置。团队把经过整理的英语数学、代码和问答材料转换为印度语言,并用质量评估和定向修复检查译文,尽量保留公式、表格与代码。
更值得关注的是,团队称将随语料开放 GPU 加速的数据生成管线——也就是自动生成、检查和修复训练文本的一整套流程,包括提示词、LLM 工作流与质量检查。其他团队因此不仅能使用成品,也能换入自己的材料继续扩充低资源语言语料。不过,这些主要是合成数据,作者也明确指出,自然写成的本地文本仍是承载地方知识和文化语境的必要补充。