commit files to HF hub

fasttext_jp_embedding.py

@@ -11,14 +11,26 @@ class FastTextJpConfig(PretrainedConfig):
     """
     model_type = "fasttext_jp"
 
-    def __init__(self, tokenizer_class="FastTextJpTokenizer", **kwargs):
+    def __init__(self,
+                 vocab_size=1,
+                 hidden_size=1,
+                 tokenizer_class="FastTextJpTokenizer",
+                 **kwargs):
         """初期化処理
 
         Args:
             tokenizer_class (str, optional): 
                 tokenizer_classを指定しないと、pipelineから読み込まれません。
                 config.jsonに記載されます。
+            vocab_size (str, optional): 
+                vocab_sizeを指定しないと、pipelineから読み込まれません。
+                config.jsonに記載されます。
+            hidden_size (str, optional): 
+                hidden_sizeを指定しないと、pipelineから読み込まれません。
+                config.jsonに記載されます。
         """
+        kwargs["vocab_size"] = vocab_size
+        kwargs["hidden_size"] = hidden_size
         kwargs["tokenizer_class"] = tokenizer_class
         super().__init__(**kwargs)
 

mecab_tokenizer.py

@@ -12,6 +12,8 @@ class MeCabResult(NamedTuple):
 
 
 class MeCabTokenizer(PreTrainedTokenizer):
+    target_hinshi: list[str] | None
+    mecab: MeCab.Tagger
 
     def __init__(self,
                  hinshi: list[str] | None = None,