pan class="katex"><span aria-hidden="true" class="katex-html"><span class="base"><span class="strut" style="height:0.64444em;vertical-align:0em;"></span><span class="mord">32</span></span></span></span></span>短いシーケンス長を使用してトレーニングを高速化します。そうしないと、MLMモデルのトレーニングには永遠に時間がかかります</p>。

        </div>
        <div class='code'>
            <div class="highlight"><pre><span class="lineno">81</span>        