Create README.md

README.md

@@ -0,0 +1,26 @@
+---
+license: apache-2.0
+language:
+- ja
+pipeline_tag: text-classification
+---
+[HuggingFaceFW/fineweb-edu-classifier](https://huggingface.co/HuggingFaceFW/fineweb-edu-classifier)を再現するために、日本語データで[tohoku-nlp/bert-base-japanese-v3](https://huggingface.co/tohoku-nlp/bert-base-japanese-v3)を学習したモデルです。
+
+学習データは、[oscar-corpus/OSCAR-2301](https://huggingface.co/datasets/oscar-corpus/OSCAR-2301)の日本語サブセットから抽出した16913個の文書に対して、[TheBloke/Mixtral-8x7B-Instruct-v0.1-GGUF](https://huggingface.co/TheBloke/Mixtral-8x7B-Instruct-v0.1-GGUF)のQ3_Kを使ってスコアリングしたものを使用しています。
+詳細: [https://zenn.dev/kendama/articles/aba63f14f88e6e](https://zenn.dev/kendama/articles/aba63f14f88e6e)
+コード: [https://github.com/kkendama/fineweb-edu-classifier-ja](https://github.com/kkendama/fineweb-edu-classifier-ja)
+## 使い方
+```python
+from transformers import AutoTokenizer, AutoModelForSequenceClassification
+tokenizer = AutoTokenizer.from_pretrained("Kendamarron/fineweb-edu-classifier-ja-v2")
+model = AutoModelForSequenceClassification.from_pretrained("Kendamarron/fineweb-edu-classifier-ja-v2")
+def predict(text):
+    inputs = tokenizer(text, return_tensors="pt")
+    outputs = model(**inputs)
+    logits = outputs.logits
+    predicted_class = torch.argmax(logits, dim=-1).item()
+    return predicted_class
+text = "富士山は、日本で最も有名な山であり、日本全土にわたる広大な自然公園の一つです。高さは3,776メートルで、日本で最も高い山です。富士山は、東京都、静岡県、山梨県の3つの県にまたがっています。"
+print(predict(text))
+# >> 2
+```