百度开源ERNIE 5.5 Flash Base：280B基座仅激活14B，面向继续训练
· 来源：百度文心 / ERNIE
文心发布预训练终点检查点，无中训/后训；33.5T tokens、训练上下文至128K、推理与微调可至1M；Hugging Face提供FP8与BF16权重。
百度文心于2026年11月5日开源ERNIE-5.5-Flash-Base。这是一个稀疏MoE语言模型，总参数约2800亿、每token激活约140亿，从零预训练约33.5万亿token，训练上下文逐步扩至128K，微调与推理支持最长约100万token。发布的是预训练结束、尚未经过中训或后训的检查点，定位为社区做领域适配、指令微调与强化学习研究的共同起点。
架构上强调效率：多数层用Heavily Compressed Attention把每128个token压成一条缓存，少数层保留MLA并配合稀疏注意力；MoE采用多路由器与潜空间专家；残差侧引入流形约束超连接；输出头用MultiMax替代单一温度softmax，并以ECHO替代传统MTP模块。官方同场评测中，相对DeepSeek-V4-Flash-Base、Hy3-preview-Base、MiMo-V2.5-Base等相近规模基座，ERNIE在MMLU（93.3）、MMLU-Pro（78.4）、HumanEval+（82.3）与多项长上下文指标上表现突出。
权重已上Hugging Face（FP8与BF16 safetensors），并说明输入需保留BOS、`add_special_tokens=True`。SGLang与vLLM可通过completions接口部署。百度表示后训版ERNIE 5.5 Flash还将跟进，希望降低大规模预训练门槛，让更多资源投向各自关心的能力与训练方法。