�此，从本质上讲，计算成本与拥有单个 FFN 相同。在我们的实现中，当你有许多或大型 FFN 时，这种并行化效果不佳，因为这一切都发生在单个 GPU 上。在分布式设置中，你会将每个 FFN（每个都很大）放在不同的设备上。</p>
<p>本文引入了另一个损失术语来平衡专家（FFN）之间的负载，并讨论了路由不平衡时丢弃代币的问题。</p>
<p>这是<a href="experiment.html">训练代码和一本</a>用于在 Tiny Sh