11 月 5 日，百度文心大模型发布并开源 ERNIE-5.5-Flash-Base，向社区开放其预训练终点的模型权重。与直接面向应用的后训练模型不同，这是一个“基座（Base）”模型：它已完成从零开始的预训练，但未经中训练与后训练，相当于把“模型往哪个方向继续进化”的选择权交还给开发者。

从参数规模看，ERNIE-5.5-Flash-Base 采用稀疏混合专家（MoE）架构，总参数约 2800 亿（280B），每次推理仅激活约 140 亿（14B）参数，在 33.5 万亿 tokens 上完成预训练。其训练上下文窗口为 128K，在微调与推理阶段可外扩至 100 万 token，长文档与多步交互场景的潜力突出。官方在 30 项基准上评估，称其在同尺寸基座模型中取得 SOTA，代码能力提升尤为明显。

效率是这套模型的设计主线：注意力层面组合了混合稀疏注意力与低秩门控，专家路由采用多路由器潜变量 MoE，训练目标引入 ECHO 复用主干末层预测后续 token。对国内企业与研究者而言，开放一个高质量、超长上下文且可自由微调的 Base 权重，意味着可以更低成本开展领域适配、指令微调与面向智能体的强化学习，缩短自研大模型的起跑距离。

来源：百度文心