Jeff Dean：我们写了一份「稀疏模型设计指南」，请查收

稀疏模型在深度学习领域发挥着越来越重要的作用。对于给定的 token 或样本，它可以只激活模型的一小部分，从而在拥有很大的参数量的同时也能做到计算友好。但是，如何可靠地训练这类模型依然是一个需要解决的问题。在这篇文章中，来自谷歌的 Barret Zoph、Irwan Bello、William Fedus 、Jeff Dean 等研究者给出了一份「Je高效稀疏专家模型设计指南」。

稀疏专家神经网络展示了纯规模的优势，并为当今常用的静态神经网络架构提供了一种有效的替代方案。稀疏专家网络不是对所有输入应用相同的参数，而是为每个输入动态选择使用哪些参数。这允许网络极大地扩展参数的数量，同时保持每个 token 的 FLOPs 大致不变。这些方法的采用已经带来了 SOTA 翻译模型、4-7 倍的预训练加速，以ff及仅使用 1/3 的训练成本就能达到 GPT-3 级的 one-shot 性能。尽管参数数量惊人，但稀疏模型将训练大型神经网络的碳足迹降低了一个数量级。然而，困难依然存在。

Fedus et al. (2021)观察到，与之前的 SOTA 方法（Raffel et al., 2019）相比，稀疏 1.6T 参数模型实现了 4 倍的预训练加速，但在 SuperGLUE 等常用基准上进 D行微调时，却落后于较小的模型。在 Artetxe et al. (2021)中，研究者在域外数据上对 MoE 语言模型进行了微调，并观察到了相似的差距。

为了解决这一问题，Switch-XXL 模型被提出，该模型参数较少，但计算占用空间增加到原来的 8 倍（FLOPs 大约等于最大的 T5 模型），在自然语言理解任务上的性能有所提高。然而，必要的预训练受到先前在ea小规模研究中未检测到的训练不稳定性的阻碍。这些不稳定性后来在其他稀疏模型中被识别出来。这些结果揭示了参数和计算的必要平衡，但如何可靠地训练这种模型依然是一个待解决的问题。

这篇论文的目的就是提高稀疏模型的实用性和可靠性。他们研究了这两个问题，并给出了设计指南。最后，他们将稀疏模型的参数缩放到 269B，其计算成本与 32B 密集编码器 - 解n：码器 Transformer（稳定、可迁移的 Mixture-of-Experts、ST-MoE-32B）相当。这是稀疏模型首次在迁移学习中实现 SOTA 性能，跨越了一系列不同的任务，包括推理（SuperGLUE、ARC Easy、ARC Challenge)、摘要（XSum、CNN-DM）、闭卷问答（WebQA、Natural Questi我们ons）和对抗式构造任务（Winogrande、ANLI R3）。

本文的贡献可以概括如下：

1、开展了一项关于稳定性技术的质量 - 稳定性权衡（quality-stability trade-offs）大规模研究；2、引入了 router z-loss 来解决稳定性问题，同时略微提高了模型质量；3、给出了关于稀疏和密集模型的微调分析，揭示了二者对批大小写了和学习率的不同超参数敏感性；他们发现，糟糕的超参数导致密集模型上几乎没有微调增益，尽管预训练有很大的加速；4、给出了分布式环境下设计 Pareto 高效稀疏模型的架构、routing 和模型设计原则；5、给出了追踪跨专家层的 token routing 决策的定性分析；6、训练出了一个 269B 稀疏模型，在一组不同的自然语言基准上实现了 SOTA 性一份能。

router z-loss

稳定神经网络最成功的方法之一是对激活的约束和梯度。一种流行的方法是在通过深度网络反向传播时，裁剪梯度范数来弥补爆炸梯度。

在这篇论文中，研究者使用 Adafactor 优化器是因为它的内存效率（尽管最近推出的 8 位优化器 (Dettmers et al., 2021) 可能会提供更好的 trade-off）。Adafactor「稀 使用更新裁剪（update clipping），而不是梯度裁剪（gradient clipping），其中对权重的更改被限制在一定的范数以下。他们尝试将更新裁剪收紧到更小的值。

接下来，他们研究了即将进入 router 的 logit 上的约束。router 以 float32 计算专家的概率分布。然而，研究者发现，在最大的规模下，这不足以带来可靠的训练疏模结果。为了解决这个问题，他们引入了 router z-loss，

其中，B 是 token 的数目，N 是专家数，x ∈ RB×N 是将要进入 router 的 logit。

下表 4 显示，在三次运行中，update clipping 和 router z-loss 都稳定了模型，但是 update clipping 严重影响了模型的质量。因此，研究者使用 z-loss 方法来固定模型型设稳定性。

router z-loss 引入了另一个超参数 (c_z)，这是一个加权系数，作为优化的总损失的一部分。总损失是交叉熵损失 (cross entropy loss, L_CE)、辅助负载平衡损失 (auxiliary load balance loss, L_B) 和 router z-loss (L_Z) 的线性加权组合。

基于用超参数扫描进行预训练后的最佳模计指型质量，研究者选择 c_z = 0.001 的值。附录 B 记录了预训练过程中的损失。

稀疏模型的设计

密集模型的设计受到 Kaplan et al. (2020) 的基础工作的指导。但是到了稀疏模型这里，还有无数的额外问题需要解决，比如：(1)使用多少专家？(2)使用哪种 routing 算法？(3)容量因子（capacity factor）的值是多少？(4)硬件南」如何改变这些决策？在本文中，研究者给出的建议是：

1、在他们的设置中，他们推荐容量因子为 1.25 的 top-2 routing，每个核心最多有一个专家；2、在评估期间，可以更改容量因子，以适应新的内存 / 计算要求；3、密集层叠加和乘法偏置（multiplicative bias）可以提高质量。

 更多细节请参考原论文。