former</a></h2>
<p>这是一个压缩transformer的实现，它在<a href="xl/index.html">Transformer XL</a> 的基础上，通过压缩最早期的记忆来延长注意力跨度。</p>
<h2><a href="gpt/index.html">GPT 架构</a></h2>
<p>这是 GPT-2 结构的实现。</p>
<h2><a href="glu_variants/simple.html">GLU 变体</a></h2>
<p>这是论文 <a href="https://arxiv.org/abs/2002.05202">《 GLU Variants Improve Transformer 》</a>的实现。</p>
<h2><a href="knn/index.html">kNN-LM</a></h2>
<p>这是论�