de>
指定是否将 FFN 的输入乘以路由概率</li>
<li><code  class="highlight"><span></span><span class="n">n_experts</span></code>
是专家的数量</li>
<li><code  class="highlight"><span></span><span class="n">expert</span></code>
是专家层，一个 <a href="../feed_forward.html">FFN 模块</a></li>
<li><code  class="highlight"><span></span><span class="n">d_model</span></code>
是令牌嵌入中的要素数量</li>
<li><code  class="highlight"><span></span><span class="n">d_ff</span></code>
�