新实验室Mirendil发布首个模型Fern：从头预训练，支持1000万Token上下文，一次装下约50万行代码
· 来源：Mirendil
由Behnam Neyshabur领导的Mirendil推出Fern 0.1，主攻审计训练数据、调试训练日志等AI研发类智能体任务。
新成立的AI实验室Mirendil于10月26日发布首个模型Fern。实验室由Behnam Neyshabur担任联合创始人兼CEO。Fern从零开始预训练，其架构、训练和推理系统可支持最多1000万Token的上下文，约合23MB代码、50万行左右，相当于Megatron-LM整个代码库，或者几十到上百条完整的智能体执行轨迹、数天的智能体工作记录。
Mirendil认为，模型能力可以靠增加参数，也可以靠加长上下文来提升：上下文越长，模型就能直接看到越多的文档、代码、指令和自身过往经验。官方展示的结果表明，更长的上下文即使在下一个Token预测这一基础任务上也能带来收益，并用标准的RULER基准测试长上下文的有效利用。
首个版本Fern 0.1只是基础模型Mirendil-Base经过一轮简短后训练的产物，定位于AI研发中的高频智能体工作：审计预训练数据中的重复、基准污染和垃圾内容，根据日志排查训练故障，以及完整阅读智能体或训练轨迹并解释问题出在哪里。团队坦言，目前1000万上下文的可用性还不如100万，在智能体编程测试上也落后于GLM 5.3和Kimi K3；另有两个更大的模型仍在预训练中。
在主流厂商普遍停留在百万级上下文的情况下，Fern把上下文窗口推到千万级，为超长上下文路线提供了一个新的实验样本。