��意力的 Transformer 》</a>的<a href="https://pytorch.org">PyTorch </a>实现。</p>
<p>这篇论文用一种新的高效操作替代了<a href="https://nn.labml.ai/transformers/mha.html">自注意力层</a>，该运算的存储复杂度为O（Td），其中 T 是序列长度，<span ><span class="katex"><span aria-hidden="true" class="katex-html"><span class="base"><span class="strut" style="height:0.69444em;vertical-align:0em;"></span><span class="mord mathnormal">d</span></span></span></span></span>