2024 年 3 月 17 日,xAI 开源放出 Grok-1 的底模权重和网络结构。官方写明这是约 3140 亿参数的混合专家(MoE)模型,由 xAI 从零训练;单个 token 大约只会激活 25% 的权重。
这次放出的是 2023 年 10 月预训练阶段结束时的原始底模检查点,没有针对对话等具体用途做微调。权重和结构按 Apache 2.0 许可发布,官方指引放在 github.com/xai-org/grok。训练栈则写明是搭在 JAX 与 Rust 上的自研工具。
开源的是「还没调成聊天机器人」的底模,对想自己微调或研究结构的人更有用。对我这种个人用户,直接拿来闲聊可能不如后来的对话版省心,但把大杯 MoE 按宽松协议放到外面,还是值得记一笔。
想上手的话,先看官方仓库的说明再跑。它不是对话微调版,别指望开箱就能当 Grok 聊天用。
原创
Grok-1 开源:3140 亿参数 MoE 底模,按 Apache 2.0 放出
本文采用 CC BY-NC-SA 4.0 许可协议,转载请注明出处。
评论交流
欢迎留下你的想法