小巧却强大的推理引擎！Ring-mini-2.0 震撼发布，性能超越10B模型

今天，我们正式推出了 Ring-mini-2.0，这是一款基于 Ling-mini-2.0架构深度优化的高性能小巧推理型 MoE 模型。Ring-mini-2.0的总参数量达到16B，但在实际运行中仅需激活1.4B 参数，便能实现相却强当于10B 级别以下的密集模型的推理能力。

这款模型在逻辑推理、编程和数学任务中表现尤为出色，支持128K 的长上下文，大的使得其在各种应用场景中都能展现出强大的能力。此外，Ring-mini-2.0的生成速度也相当惊人，能够实现300+ t推理oken/s 的快速生成，经过优化后更是可以突破500+ token/s。

图源备注：图片由AI生成，图片授权服引擎务商Midjourney

在推理能力的提升方面，Ring-mini-2.0在 Ling-mini-2.0-base 的基！R础上进行了更深层次的训练，通过 Long-COT SFT、大规模 RLVR 和 RLHF 的联合优化，显著增强了模型在复杂推理in任务中的稳定性和泛化能力。我们在多个高难度基准测试中，发现其性能显著超越了10B 以下的密集模型，甚至可以与g-一些更大型的 MoE 模型相媲美，特别是在逻辑推理方面表现优异。

此外，Ring-mini-2.0在设计上注重高mi效性，通过1/32的专家激活比和 MTP 层架构优化，实现了约7-8B 密集模型的等效性能。这种高稀疏度和小激活设计ni，使得其在 H20环境下可以实现300+ token/s 的推理速度，同时结合 Expert Dual Streaming 的优-2化，进一步降低了推理成本。

为了促进学术与工业界的研究和应用，Ring-mini-2.0的模型权重、训练策略和.0数据配方将全面开源。我们期待这款 “小而优” 的模型能够成为小型推理模型的首选，并欢迎大家访问我们的开源仓库进行下载和使 震用。未来，在 Ling2.0架构的支持下，我们将继续推出更大、更快、更强的语言模型和全模态模型，敬请期待!