这项由JetBrains征询团队与德国不来梅Constructor University结伴开展的征询，于2026年5月以手艺施展面孔发布，编号为arXiv:2605.31268v1，感意思意思的读者可通过该编号检索完整论文。

**一个让表率员麻烦的老问题**

每当表率员怒放电脑，濒临一个需要写代码、改bug、查文档、问AI的下昼，他们都在糊涂期待着一件事——有一个既明智又响应赶快的AI助手，随时等在摆布帮衬。问题是，明智的AI时常需要花消宽敞算力，运行起来要么很贵，要么很慢，要么两者教学相长。低廉又快的AI，又不时在遭遇复杂任务时掉链子。

JetBrains是一家以开导专科编程用具驰名的公司，他们的产物每天都在大家数百万表率员的电脑上运行。正因如斯，他们比任何东谈主都清晰：一个真的好用的AI编程助手，不行只会填写代码片断，还要能写通盘函数、改旧代码、找出bug、调用各式用具、在一个大技俩的文献之间穿梭导航，以至要能像一个训导丰富的共事那样和你聊编程。而这一切，都必须在表率员的普通电脑上畅通运行，不行让东谈主比及握狂。

为了处置这个矛盾，JetBrains推出了他们的新一代模子——Mellum 2。这是他们早期阿谁只会填写代码的简便模子Mellum的全面升级版。新模子领有120亿个参数，却只在处理每个词的时候激活其中25亿个，十分于一个领有丰富学问储备的大师，想考时只调用最有关的部分，而不是把系数操心都翻一遍。

**一、大脑的结构：为什么不是"越大越好"**

要默契Mellum 2的瞎想想路，不错把AI模子的参数想象成一家大型藏书楼的藏书量。藏书越多，能呈文的问题就越平常；但每次有东谈主来查云尔，若是必须把通盘馆的书都翻一遍，那效用就太低了。明智的典籍管理员只会在有关的书架上查找。Mellum 2接收的中枢手艺叫"搀杂大师架构"（Mixture-of-Experts，简称MoE），恰是这个道理：模子里有64位"大师"，每次处理一个词时，只须其中8位大师真的参与责任。这么，模子总计存储了120亿参数的学问，但现实运算量只十分于一个25亿参数的小模子。

JetBrains在礼聘这个架构之前，作念了宽敞的对比实验。他们伊始尝试了密集型模子（Dense Model），也便是每次处理都激活系数参数的传统方式。他们测试了各式不同深度和宽度的建设，层数从24层到40层不等，隐蔽维度从2304到4096不等，以至还尝试了DeepSeek团队瞎想的一种叫作念"多头潜在戒备力"（MLA）的特殊架构。驱荒疏现，在他们设定的速率管束下，莫得任何一个密集模子能安然地超越Qwen2.5-7B这个7B参数的标杆模子。MLA架构照实允许把模子扩展到约55亿参数，同期保持疏通速率，但质地普及并不及以弥补进修复杂度加多带来的代价，而且其时救济的潜在秩维度对他们的模子范围来说太大了。

转向MoE架构后，他们参考了Qwen3-30B-A3B这个模子的瞎想，按比例缩小以适配单张H100显卡的内存上限（低于180亿总参数）。大师数目固定为64个，因为更多大师会超出显卡内存。他们测试了不同的激活大师数目：激活2个大师的模子比激活8个的快约1.5倍，但质地彰着变差；而在小范围模子上，寥落渡过高照实有损质地，这与学术界此前的征询论断一致。最终，"64个大师，每次激活8个"成为质地与速率的最好平衡点，在这个建设下，模子最高不错扩展到约150亿总参数，同期与Qwen2.5-7B保持十分的推理速率。

**二、戒备力机制的全心编著**

除了大师架构自己，模子里还有一套叫作念"戒备力机制"的安设，负责让模子默契翰墨之间的相关——比如，在一段代码里，"这个变量"到底指的是前边哪个界说。这部分的瞎想对运行速率影响极大。

传统的多头戒备力机制，就像让一群东谈主同期盯着整篇文档的每个边缘作念札记，然后汇总。JetBrains在Mellum 2中使用了分组查询戒备力（Grouped-Query Attention，GQA），把存储中间驱散（也便是KV缓存）所需的"记载员"数目从时常的好多个压缩到只须4个。这个数字的礼聘经过了仔细衡量：8个记载员会导致在高并发场景下吞吐量大幅下落，而只用2个记载员时，模子质地又会彰着变差。4个恰好是甘好意思点。实验数据炫耀，Qwen2.5-7B用4个KV头能达到的并发吞吐量，与他们的前代模子Mellum-4B用8个KV头时好像十分，尽管前者参数目简直是后者的两倍。

另一个要道瞎想是"滑动窗口戒备力"（Sliding Window Attention，SWA）。正常的戒备力机制，每个词都要温煦输入文本里系数其他词，跟着输入文本变长，酌量量会急剧推广。滑动窗口戒备力则像一个焦点灯，每次只照亮隔邻一小段区域，大大裁减了大多数层的酌量量。Mellum 2把28层Transformer中的21层（即四分之三）诞生为滑动窗口戒备力，窗口大小为1024个词元（token），剩余7层保持全局戒备力，以确保模子在需要时仍能捕捉远距离的高下文信息。实验标明，窗口大小1024比512在质地基准上发达更好；而且带有滑动窗口戒备力的MoE模子，在输入长度翻倍的情况下仍能保持与Qwen2.5-7B十分的延伸，在需要处理长代码文献的责任经由中上风显耀。

还有一个颇具巧想的瞎想：多词元估量头（Multi-Token Prediction，MTP）。时常模子每次估量下一个词，而MTP让模子在进修时特别估量再下一个词，用一个特别的Transformer层达成，进修时特别加多的时刻约7%。这个头在安然推理时会被移除，不影响模子自己的估量，但它带来了双重刚正：一方面四肢缓助进修办法普及了模子质地，另一方面不错充任"推测解码"（speculative decoding）的草稿生成器，加快推理。在对比实验中，加入MTP的模子在HumanEval代码生成测试上普及了10.4个百分点，在MMLU学问测试上普及了3.6个百分点，在MMLU-Pro上普及了3.3个百分点，在GSM8K数学测试上普及了3个百分点。

**三、进修数据的三段式厨艺形而上学**

模子的"明智"泉源于它看过的文本数据。Mellum 2的进修数据约达10.6万亿个词元，涵盖网页文本、源代码和数学内容三大类别。若是把进修过程比作全部全心瞎想的套餐，那这三个阶段的安排就像是先打底、再提质、终末高超。

第一阶段叫"基础修复"，处理了约6.18万亿词元，占总量58%。这一阶段以网页和通用学问为主（约70%），代码占23%，数学只须6%。目的是让模子先建立闲居的言语默契能力和基础代码默契。这一阶段涵盖了学习率预热和保持阶段。

第二阶段叫"质地普及"，处理了约2.79万亿词元，占总量26.2%。代码比例大幅普及至42%，高质地精选数据集（包括指示跟从数据、推理问答、STEM教化数据、学问对王人著述）被引入。此阶段的精选数据是在学习率安然后引入的，因为精选数据在这个时候成果更好。同期引入了新的合成代码数据集，原始代码语料库参加第二轮学习。

第三阶段叫"能力锐化"，处理了约1.69万亿词元，占总量15.9%。学习率参加线性衰减，代码比例进一步升至59%，网页内容缩减为只须最高质地的精选泉源。特别引入了代码审查和跨言语代码转变等合成数据集，原始代码语料库参加第三轮学习。

代码数据本成分为三类：一是来自公开仓库的原始代码，按文献去重；二是从Common Crawl（一个大范围网页快照）提真金不怕火的含代码网页；三是合成和生息代码数据集，通过代码选录、功能扩展、言语转变、测试生成、提交信息等方式为代码附受骗然言语注解，还有问答、代码重写、代码审查、代码教化诠释等合成数据。征询发现，合成代码数据对小范围MoE模子的匡助尤为彰着，因为这类模子更需要数据的各类性。

网页和通用学问数据包括大范围合成网页语料、进修类网页内容、进修PDF、多言语推理和问答数据集，以及精选学问泉源——维基百科改写、合成百科条件等。数学数据则包含数学指示调优数据、多质地层级的数学网页内容、数学课本和数学SFT数据。

数据相通计策也经过了全心瞎想。高质地数据因为稀缺，会被屡次使用。袖珍精选代码数据集衔接三个阶段，原始代码语料库阅历三轮学习，臆想孝敬约9580亿词元。但莫得任何数据集被相通卓著4次，因为实验发现卓著这个次数之后，连接相通也曾带不来收益了。而且关于MoE进修来说，高质地数据的屡次进修能有用锐化大师专科化，这是只看一遍嘈杂数据作念不到的。

**四、填空进修：为IDE瞎想的特殊手段**

除了表率的"下一词估量"进修，Mellum 2还特意作念了填空中间（Fill-in-the-Middle，FIM）进修。这对IDE代码补全至关进犯——当表率员把光标停在代码中间某处，需要AI补全这段内容时，AI必须同期看到光标前后的高下文，而不仅仅前边的部分。

FIM进修把文档随即分红三段（前缀、中间、后缀），用特殊标记重新陈列后四肢进修样本。征询团队使用PSM（前缀-后缀-中间）和SPM（后缀-前缀-中间）两种陈列各占50%。FIM的比例也随进修阶段动态疗养：第一阶段50%（应用于所独特据）；第二阶段降至10%（精选数据主要用表率估量方式消化）；第三阶段复原至50%，但只应用于源代码文献，非代码数据连接用表率估量。

**五、优化器的礼聘：Muon的告成**

礼聘合适的优化器（即死一火模子学习方式的算法）对进修质地至关进犯。征询团队测试了AdamW（深度学习领域最常用的优化器）和Muon（一种新式优化器，对隐蔽层参数使用正交化更新）两种决议，并在两种不同的Muon建设下进行了对比：Megatron默许建设（特别缩放因子1.0）和Moonlight建设（特别缩放因子0.2）。

在密集型7B架构上，Megatron默许建设在进修约210亿词元时平直发散崩溃，而Moonlight建设大幅打败AdamW，考据蚀本裁减了约0.028（十分于约2.5%的更正）。在MoE 14B架构上，两种Muon建设都能管束，Megatron默许建设最终蚀本略好（低约0.026，约2.4%），Moonlight紧随自后。最终礼聘Moonlight建设，因为它在密集和MoE架构上都保持了安然性。

学习劝诱受"预热-保持-衰减"（Warmup-Hold-Decay，WHD）计策：先线性预热2000步到峰值3×10??，在第一和第二阶段保持峰值，在第三阶段（约49306步，占总进修时刻15%）线性衰减到零。线性衰减到零比余弦衰减到非零最小值成果更好，能以更低的有用酌量量达到同等蚀本。全局批量大小从2048个序列线性斜升到4096个序列，每步处理约3360万词元。进修精度以BF16为基础，合作FP8搀杂精度进修，梯度规约保持FP32精度以确保数值安然性。

**六、进修过程中的不测插曲**

任何大范围进修都会遭遇出东谈主预感的梗阻，Mellum 2也不例外，而且征询团队礼聘坦诚地记载了这些阅历。

进修初期出现了两次蚀本尖峰，追查后发现是数据中有些序列词汇各类性极低——比如通盘高下文窗口里就相伙同一个词元。处置决议是过滤掉私有词元少于82个（占8192高下文长度1%）的样本。

此外，数据准备管谈按词元序列的哈希值排序，导致一些饱和长的文档被切割成多个8192词元的块之后，这些块酿成了透顶疏通的副本。哈希排序把这些副本放在每个数据分片的疏通位置，而每个进修阶段由16个均匀分片组成，导致每个阶段出现16次周期性的蚀本下落。这些影响不大，是小幅且伶仃的，对进修动态莫得可测量的影响，征询团队决定不处理。

进修半途，酌量集群从32节点迁徙到16节点，保持全局批量大小不变。迁徙后全局负载平衡蚀本彰着下落，但这不是模子活动的变化，而是Megatron-LM达周密局缓助蚀本的方式在节点数变化时产生的积聚语义各异——节点减少意味着每步梯度积聚的微批次更多，运行平均值更接近真的漫步，算出的蚀本系统性地更低，但优化信号是等价的。

**七、扩展到超长高下文：从8K到128K的进步**

基础预进修完成后，Mellum 2的高下文窗口还只须8192个词元，大要只可装下十几页代码。为了让模子处理更大的代码库和更长的对话，征询团队进行了特意的长高下文扩展进修，将高下文扩展至131072个词元（约128K）。

扩展的中枢手艺是YaRN——一种疗养模子位置编码频率的秩序，匡助模子默契更长序列中词语的相对位置。但有一个要道的巧想：征询团队并莫得把YaRN应用到系数层，而是只应用到全局戒备力层（每四层中的那一层），让滑动窗口层保持本来的位置编码参数。这种"层礼聘性YaRN"的想路最早由Gemma 3团队提议，OLMo 3也随后接收。Mellum 2的消融实验与他们的发现一致：在64K评估高下文下，层礼聘性YaRN的RULER评分（一个测试长高下文默契能力的基准）为0.64，彰着优于结伴疗养RoPE基础（0.52）和不作念任何疗养（0.33）。差距随高下文长度加多而扩大，不疗养的模子在卓著32K后透顶崩溃，结伴疗养则不必要塞干豫了本来运作正常的滑动窗口层。

长高下文进修数据是第三阶段预进修数据的重新平衡版块，加入了一部分当然包含长高下文示例的智能代理SFT数据。重新平衡时特意下采样了长推理链，因为发现它们主导了长高下文数据的尾部，会让模子偏向推理作风输出而殉难通用长高下文能力。征询团队还在扩展数据中加入了基于仓库级高下文的FIM款面孔本，延续Mellum 1的作念法，将有关文献级聚积成前缀，确保模子在长距离跨文献代码补全时也能学到正确的戒备力模式。

进修约300亿词元后，RULER评分在系数测试高下文长度上就也曾接近最终值（缺欠约1个百分点），尊龙凯时app官方2026最新版下载但MoE路由器的负载平衡蚀本在尔后仍接续下落——路由器还在连接得当新的序列长度模式。基于这个信号，征询团队将进修延长到3500轮（约1170亿词元），让开由器充分安然后再退火。峰值学习率为3×10??，比预进修低一个量级。

**八、两个本性不同的"学生"：Instruct和Thinking**

长高下文进修完成的基础模子还不行平直被用户使用，还需要"后进修"：先作念监督微调（SFT），再作念强化学习。征询团队从团结个长高下文查抄点开赴，进修出两个作风不同的变体。

Instruct（无想考）变体是一个平直呈文助手，不展示里面推理过程，蚀本酌量覆盖对话中的每个助手轮次，泉源数据中的推理字段会被丢弃。Thinking（想考）变体是一个推理增强助手，在给出最终谜底前会先生成一段里面推理链，只须终末一个助手轮次（连同它的推理轨迹）孝敬蚀本，穷乏推理轨迹的对话会被摒除，而且为了放大多轮对话数据的有用信号，每段多轮对话最多会产生5个进修样本（通过在连气儿助手轮次上滑动蚀本办法达成）。

两个SFT版块的数据涵盖多个大类。通用对话和指示跟从，包括开放域问答、阅读默契、多选题和短款式指示跟从。单轮编码，涵盖多种编程言语的代码生成、编著、诠释和翻译，有特意针对C++、Python、C#、JavaScript和TypeScript竞赛编程的子集。智能代理编码，包括长程交互代理轨迹（早期和更正版），包含SWE作风的仓库级编著任务，为模子提供导航代码库、策动多表率编著、考据中间驱散的模式。用具使用和函数调用，涵盖通用函数调用款式、Bash实施、知道用具和搜索用具，训诫模子正确调用用具并从用具诞妄中复原。推理轨迹，包含带有想维链的示例，涵盖数学、代码和通用推理，在处理时为Instruct变体过滤掉。安全数据，来自开放许可安全语料库，目的是减少无益输出而不损伤良性代码领导的有用性。身份示例，一小组自我象征对话，过采样3倍，让模子可靠地以"Mellum 2"先容我方。酷好的是，在莫得这类数据的出手进修中，模子恒久把我方态状为谷歌开导的AI助手，尽管进修中莫得使用任何谷歌模子生成的合成数据。

SFT进修从长高下文YaRN查抄点出手化，与预进修使用疏通的漫步式Muon优化器，在各自的打包数据集上进修三轮。学习率峰值为3×10??（预进修峰值的十分之一），余弦衰减至3×10??（峰值的10%）。MoE缓助负载平衡系数从10??降至10??，因为路由器在预进修后也曾平衡，更小的系数幸免在较窄的SFT漫步上过度管束大师哄骗率。Instruct版块花消约470亿词元，Thinking版块花消约1670亿词元。

**九、用奖励机制打磨最终手段**

SFT之后是强化学习（RL）阶段，用表率可考据的奖励信号（RLVR）进一步高超。礼聘RLVR而非依赖东谈主类反馈强化学习（RLHF）的原因是：进修语料库中每个领导都有明确的表率化正确性查抄秩序，不需要进修一个单独的奖励模子（阿谁模子的缺欠会玷辱梯度信号）。

RL基础设施分为进修节点（持有计策权重、运行梯度更新）和推理节点（托管生成引擎、产生进修样本）两组，由Ray调遣、Kubernetes编排。进修用NeMo-RL框架，通过Megatron-Bridge建设，精度与预进修疏通（BF16/FP8搀杂）。生成用vLLM。奖励酌量独处运行在单独的微干事集群，通过考据网关路由到不同后端：代码实施沙箱（基于单位测试）、数学谜底考据器（象征和数值相比）、LLM-as-a-Judge干事（评判解放面孔输出），以过甚他专用环境（如有状况用具对话的会话管理）。

RL数据分为Instruct和Thinking两套组合，各约26万条进修领导和3600条考据领导，按能力领域漫步。代码域各占22%，各57500条。数学域在Instruct中占23%（6万条），Thinking中占28%（7.2万条）。智能用具使用在Instruct中占14%（3.6万条），Thinking中占12%（3.1万条）。指示跟从在Instruct中占19%（4.95万条），Thinking中占21%（5.35万条）。推理在两套中各占13%（3.5万条）。学问在Instruct中占9%（2.25万条），Thinking中仅占4%（1万条），因为过多MCQA清晰会损伤指示跟从质地。

代码域数据结合了竞赛编程题库、数学与代码配对数据集（让模子用Python实施用具处置数学问题，也计入数学域），以及征询团队自建的12种编程言语真的任务集——覆盖全新达成、从堆栈追踪调试、测试生成、活动修改、文献系统与API集成、安全加固六类责任，每个任务附带测试套件，通过率界说奖励信号。

数学域数据以三种互补作风组成：纯数学（毋庸具，严格匹配考据）、带酌量器用具的数学（模子发出酌量器用具调用并使用复返值）、带代码实施的数学（用Python实施用具酌量中间量）。

RL算法是GRPO（一种近端计策优化变体）的定制版块。蚀本在词元层面酌量，每个有用生成词元对梯度孝敬疏通（遵命DAPO和Dr. GRPO的建议）。上风用留一基线酌量，不作念表率差归一化（遵命Dr. GRPO）。每个领导采样G个响应，过采样约1.5倍，丢弃组内奖励方差为零的领导组。PPO编著使用不合称范围（低编著低于高编著），"更高编著"诞生让正上风更新比负上风更新流动得更解放（来自DAPO）。不使用KL刑事牵累项将计策锚定到SFT参考，与最近的大范围开放RL系结伴致。

MoE路由器带来了一个特殊挑战：即使推理时和进修时用的是团结套权重，团结个隐蔽状况可能被路由到不同大师，导致对团结词元的对数概率不同。征询团队用IcePop截断秩序处置这个问题：对每个生成词元，只在进修-推理比率（ρ_t）处于[α， β]区间内时才保留其蚀本孝敬，超出区间则平直归零，而不是像PPO编著那样压缩到范围值。这是更安全的作念法，因为大ρ_t很可能是大师切换导致的，而不是真的好得应用的计策更新。

奖励塑形还加入了两条法例。一是软超长刑事牵累（来自DAPO）：在最大响应长度的缓冲区内，奖励在区间下边缘的原始分数和长度上限处的建设下限之间线性插值，卓著长度上限的透顶从蚀本中删除。二是精真金不怕火性刑事牵累，特意应用于非想考型响应：在早期Instruct运行中发现模子出手在莫得think标签的情况下产生内嵌推理，与Instruct模子的部署表率相反。这种"等等，我再想想"式的推理模式有十分安然的词汇标记，征询团队按触发词数目分三个强度档乘性地缩减正确响应的奖励，只在这些词汇不属于正当输出的任务上应用。这个刑事牵累成果显耀：在接近进修驱散时采样的数学响应中，无精真金不怕火刑事牵累版块平均每个响应有7.3个反想触发词（每千字符0.75个），而启用刑事牵累的坐褥版块只须0.6个（每千字符0.21个）。

RL超参数两个阶段分享，每步256个领导，每领导16个生成，全局批量大小4096，过采样因子1.5倍，轨迹最大滞后2步，PPO编著范围0.2/0.28，IcePop区间[0.5， 5.0]，KL系数为零，AdamW优化器（β?=0.9， β?=0.999，权重衰减0.01），峰值学习率1×10??，衰减至1×10??，梯度范数上限1.0，最多10轮用具调用。主要各异在于：Instruct最大序列16384词元，进修500步；Thinking最大序列40960词元（需要更长想维链），进修100步，每步微批次大小降至1。

**十、实战发达：何处强，何处弱**

预进修评估将Mellum 2 Base与OLMo-3-7B、Qwen2.5-7B、Qwen3-4B-Base和Qwen3.5-4B-Base对比。尽管只激活25亿参数，Mellum 2在多个推理和代码任务上能与7B密集模子竞争以至超越。在MMLU-Pro（高等多任务学问测试）上达到59.3%，卓著Qwen3.5-4B（52.4%）和Qwen2.5-7B（48.6%）。BBH（复杂推理）达74.9%，超越OLMo-3-7B（63.6%）、Qwen2.5-7B（69.0%）和Qwen3-4B（71.3%）。GSM8K（数学翰墨题）达81.7%，与Qwen2.5-7B（81.9%）和Qwen3-4B（82.0%）持平。MBPP/MBPP+（代码生成）分歧达62.4%/61.4%，超越OLMo-3-7B和Qwen3.5-4B。GPQA Main（征询生级科学问答）达35.0%，超越OLMo-3-7B（27.9%）和Qwen2.5-7B（34.2%）。相对薄弱的是HumanEval（41.5%），不事后进修阶段显耀普及了这个方针。

后进修评估则将两个变体与Qwen3.5-4B、Qwen3.5-9B、OLMo-3-7B、Ministral-3-14B、Seed-Coder-8B对比，覆盖代码、用具使用、数学、学问、对话和安全七个能力域。

在代码域，EvalPlus（HumanEval+和MBPP+的平均，测试函数级代码合成能力）上Mellum 2-RL达78.4%，最初系数对比模子，包括Qwen3.5-9B（71.8%）和代码专用的Seed-Coder-8B（73.8%），这恰是预进修数据平直针对的领域。LiveCodeBench v6（竞赛编程）上Instruct变体为37.2%，逾期Qwen3.5系列（51.0%和63.7%），但Thinking变体的SFT版块达75.1%，成为测试组中的最高分，最初Qwen3.5-9B-Thinking 6.8个百分点，阐发算法推理在模子能力范围内，但需要显式想考预算才能开释。MultiPL-E（多言语代码）居中。

在用具使用域，RL带来了最大的单步普及：BFCL v3（多轮函数调用）从43.1%跳至66.3%（Instruct），Thinking变体的SFT到RL从60.5%升至69.4%，卓著Qwen3.5-9B-Thinking（68.5%）。BFCL v4（加入智能网页搜索和操心用具）上，Mellum 2-RL-Thinking以45.6%最初全组，高于Qwen3.5系列（42.9%/42.7%）。

数学域相同受益于RL：AIME（高中数学竞赛，2025和2026各30题）从SFT-Instruct的29.9%普及至RL-Instruct的41.7%，Thinking模式从20.0%普及至58.4%。SFT-Thinking的AIME得分低于SFT-Instruct，征询团队觉得这是因为Thinking头需要经过RL阶段的数学推理进修才能正确校准。GSM-Plus（数学鲁棒性测试）RL-Thinking达87.0%，接近Qwen3.5-9B-Thinking（90.7%）。

学问域是最彰着的瑕玷：MMLU-Redux和GPQA Diamond上Qwen3.5系列最初显耀（91.1%/79.8% vs. 78.1%/40.9% Instruct），GPQA（征询生级科学问答）尤为彰着，这平直反应了进修数据倾向代码和开导者文档而非平常百科学问的衡量。

对话域呈现存趣分化：JetBrains里濒临比Qwen2.5-7B-Instruct的配对胜率，Mellum 2-RL-Thinking以69.5%最初全组，高于Ministral-3-14B-Thinking（63.8%）和Qwen3.5-9B-Thinking（56.7%），阐发在代码感知的开导者场景下，领域熟悉度转移为了真的上风。而在通用对话（IFEval、MixEval）上则居中。BS-Bench（测试对诞妄前提的反驳能力）上Mellum 2得分14-24，彰着低于Qwen3.5系列（56-70），阐发SFT/RL信号倾向遵命而非反驳，这是后续版块需要更正的办法。

安全域上，SFT-Instruct在HarmBench（无益率，越低越好）上以8.4%成为Instruct表格中最安全的模子，Ministral-3-14B（56.5%）和Seed-Coder-8B（40.0%）远高于此。RL变体寂寞至23.1%，与偏好优化阶段缩小拒却活动的已知风物一致，这是征询团队明确标注的待更正项。XSTest（安全合规率）上Mellum 2逾期最大基准模子约10个百分点，阐发有些安全领导被过度拒却，与HarmBench寂寞组成对称问题，需要结伴优化。

**十一、跑得快才能留得住：推理效用的实测数据**

在现实部署速率测试中，系数对比在单张H100 GPU（80GB）上使用vLLM干事和动态FP8量化，以代码补全坐褥责任负载为代表性测试场景（平均输入2304词元，平均输出256词元），测试同步模式（单苦求串行延伸）和吞吐量模式（并发高负载接续处理）。

驱散数据：同步模式下Mellum 2达192词元/秒，与Qwen2.5-7B的193词元/秒简直持平，Qwen3-8B只须169词元/秒。吞吐量模式下Mellum 2达5179词元/秒，比Qwen2.5-7B（4283词元/秒）高21%，比Qwen3-8B（2897词元/秒）高79%。接续苦求率分歧是Mellum 2每秒20.2个苦求，Qwen2.5-7B每秒16.7个，Qwen3-8B每秒11.3个。这阐发Mellum 2齐全达成了瞎想办法：单苦求延伸匹配7B密集基准，并发干事能力大幅最初。

**未来的路梵衲待处置的问题**

归根结底，Mellum 2是JetBrains在一个具体工程管束下的追究探索：给定一张普通显卡、一个速率预算，如安在这个管束下塞进尽可能多的能力。他们的谜底是120亿总参数、25亿活跃参数的MoE结构，加表层礼聘性滑动窗口戒备力和多词元估量头。

这套决议在代码合成、用具调用、数学推理上发达可不雅，在平常寰球学问和安全反驳上还有彰着差距。征询团队莫得阴私这些瑕玷，而况明确指出了下一步办法：把模子推向更复杂的软件工程仓库级任务（SWE RL办法），扩大RL基础设施和环境覆盖，以及重新凝视长高下文中期进修数据的配方。此外，他们还缠绵鄙人一个版块切换到无缓助蚀本的负载平衡决议，并重新评估搀杂戒备力架构（如Gated DeltaNet）——前者跟着开源推理框架的救济冉冉老练，后者在短高下文推理效用方面的弱势也在跟着内核优化而缩小。

更长期地看，礼聘架构时以固定推理预算为管束条件的瞎想秩序，自己也为未来更大、依然温煦推理效用的Mellum怒放了门。系数基础、Instruct和Thinking查抄点都以Apache 2.0许可证开放，感意思意思的征询者和开导者不错通过arXiv编号2605.31268v1找到完整手艺施展。

Q&A

Q1：Mellum 2的MoE架构和普通AI模子有什么区别？

A：普通模子每次处理都激活全部参数，而Mellum 2的MoE架构在64个"大师"中每次只激活8个，十分于领有120亿参数的学问储备，但现实运算量只须25亿参数级别。这让模子能在普通显卡上以较低的酌量资本提供更强的学问覆盖，推理速率与7B密集模子十分以至更快。

Q2：Mellum 2的Instruct版和Thinking版有什么区别？

A：Instruct版平直给出谜底，不展示推理过程，适合需要快速响应的日常编程任务。Thinking版在呈文前会先生成一段里面推理链，访佛于先在草稿纸上推演再写谜底，在数学竞赛题和复杂算法问题上发达更好，LiveCodeBench上Thinking-SFT版块以75.1%最初系数对比模子。

Q3：Mellum 2的长高下文扩展是奈何作念到的？

A：征询团队接收了"层礼聘性YaRN"手艺，只对全局戒备力层疗养位置编码频率尊龙凯时官方平台下载，让滑动窗口层保持原参数，将高下文从8192词元扩展到131072词元（约128K）。要道发现是进修约300亿词元后质地就已接近上限，但路由器还在接续得当，因此将进修延长到1170亿词元让开由器充分安然。