iv>

    <div id="arguments">
    <h2>Arguments</h2>
    <dl><dt>path</dt>
<dd><p>path</p></dd>


<dt>extensions</dt>
<dd><p>extensions</p></dd>


<dt>folders</dt>
<dd><p>folders</p></dd>


<dt>output_dir</dt>
<dd><p>output_dir</p></dd>


<dt>skip_if_exists</dt>
<dd><p>skip_if_exists</p></dd>


<dt>output_names</dt>
<dd><p>output_names</p></dd>


<dt>n_workers</dt>
<dd><p>number of workers</p></dd>


<dt>rules</dt>
<dd><p>rules</p></dd>


<dt>tok</dt>
<dd><p>tokenizer</p></dd>


<dt>encoding</dt>
<dd><p>enc