2024 年 3 月 17 日,xAI 开源放出 Grok-1 的底模权重和网络结构。官方写明这是约 3140 亿参数的混合专家(MoE)模型,由 xAI 从零训练;单个 token 大约只会激活 25% 的权重。

这次放出的是 2023 年 10 月预训练阶段结束时的原始底模检查点,没有针对对话等具体用途做微调。权重和结构按 Apache 2.0 许可发布,官方指引放在 github.com/xai-org/grok。训练栈则写明是搭在 JAX 与 Rust 上的自研工具。

开源的是「还没调成聊天机器人」的底模,对想自己微调或研究结构的人更有用。对我这种个人用户,直接拿来闲聊可能不如后来的对话版省心,但把大杯 MoE 按宽松协议放到外面,还是值得记一笔。

想上手的话,先看官方仓库的说明再跑。它不是对话微调版,别指望开箱就能当 Grok 聊天用。

来源:xAI《Open Release of Grok-1》(2024-03-17)