Update README.md

README.md

@@ -1,3 +1,67 @@
----
-license: mit
----
+---
+license: mit
+language:
+- ru
+tags:
+- tokenizer
+- bpe
+- russian
+- nlp
+---
+
+# bpe-tokenizer-ru-32000
+
+## Описание
+
+BPE tokenizer trained on Russian RIA.ru corpus with vocabulary size 32000
+
+## Параметры модели
+
+- **Тип модели**: BPE (Byte Pair Encoding)
+- **Размер словаря**: 32000
+- **Язык**: Русский
+- **Специальные токены**: `[UNK]`, `<NUM>`, `<URL>`, `<EMAIL>`
+
+## Использование
+
+```python
+from tokenizers import Tokenizer
+
+# Загрузка токенизатора напрямую
+tokenizer = Tokenizer.from_file("vocab.json")
+
+# Или через transformers
+from transformers import AutoTokenizer
+
+tokenizer = AutoTokenizer.from_pretrained("bpe-tokenizer-ru-32000")
+```
+
+## Пример использования
+
+```python
+from transformers import AutoTokenizer
+
+tokenizer = AutoTokenizer.from_pretrained("bpe-tokenizer-ru-32000")
+
+text = "Пример текста для токенизации"
+tokens = tokenizer.tokenize(text)
+print(tokens)
+
+# Или для получения IDs
+input_ids = tokenizer.encode(text)
+print(input_ids)
+```
+
+## Файлы модели
+
+- `vocab.json` - словарь токенов
+- `merges.txt` - правила слияния BPE
+- `tokenizer_config.json` - конфигурация токенизатора
+
+## Автор
+
+Обучено на корпусе RIA.ru
+
+## Лицензия
+
+MIT