�是使用<a href="xl/relative_mha.html">相对多头注意力</a>的 Transformer XL 模型的实现。</p>
<h2><a href="rope/index.html">旋转式位置编码</a></h2>
<p>这是旋转式位置编码（ ROPE ）的实现。</p>
<h2><a href="alibi/index.html">线性偏差注意力</a></h2>
<p>这是线性偏差注意力（ ALIBI ）的实现。</p>
<h2><a href="retro/index.html">RETRO</a></h2>
<p>这是对检索增强 Transformer （ RETRO ）的实现。</p>
<h2><a href="compressive/index.html">压缩 Trans