/a>
            </div>
            <h1>开关变压器</h1>
<p>这是纸质《<a href="https://arxiv.org/abs/2101.03961">开关变形金刚：以简单高效的稀疏度扩展到万亿个参数模型》的</a>微型 <a href="https://pytorch.org">PyTorch</a> 实现。我们的实现只有几百万个参数，不对并行分布式训练进行建模。它进行单个 GPU 训练，但我们实现了论文中描述的切换概念。</p>
<p>Switch Transformer 通过根据令牌在参数之间切换，为每个令