





'''simple docstring'''



import os
import pickle
import unittest

from transformers import AutoTokenizer
from transformers.models.bert.tokenization_bert import BertTokenizer
from transformers.models.bert_japanese.tokenization_bert_japanese import (
    VOCAB_FILES_NAMES,
    BertJapaneseTokenizer,
    CharacterTokenizer,
    JumanppTokenizer,
    MecabTokenizer,
    SudachiTokenizer,
    WordpieceTokenizer,
)
from transformers.testing_utils import custom_tokenizers, require_jumanpp, require_sudachi

from ...test_tokenization_common import TokenizerTesterMixin






@custom_tokenizers
class 							__lowercase       (      lowerCAmelCase__ ,      unittest.TestCase						):







	'''simple docstring'''

	a    :				List[str]											=       BertJapaneseTokenizer
	a    :				List[Any]											=       False
	a    :				Dict											=       True


	def 						_UpperCAmelCase     (self )							->							Optional[int]:







				'''simple docstring'''





				super().setUp()

				__lowercase										=							[
				    '''[UNK]''',
				    '''[CLS]''',
				    '''[SEP]''',
				    '''こんにちは''',
				    '''こん''',
				    '''にちは''',
				    '''ばんは''',
				    '''##こん''',
				    '''##にちは''',
				    '''##ばんは''',
				    '''世界''',
				    '''##世界''',
				    '''、''',
				    '''##、''',
				    '''。''',
				    '''##。''',
				]

				__lowercase										=							os.path.join(self.tmpdirname     ,VOCAB_FILES_NAMES['''vocab_file'''] )
				with open(self.vocab_file     ,'''w'''     ,encoding='''utf-8''' ) as vocab_writer:
							vocab_writer.write(''''''.join([x + '''\n''' for x in vocab_tokens] ) )


	def 						_UpperCAmelCase     (self     ,_lowerCamelCase )							->							List[str]:







				'''simple docstring'''





				__lowercase										=							'''こんにちは、世界。 \nこんばんは、世界。'''
				__lowercase										=							'''こんにちは 、 世界 。 こんばんは 、 世界 。'''
				return input_text, output_text


	def 						_UpperCAmelCase     (self     ,_lowerCamelCase )							->							Optional[int]:







				'''simple docstring'''





				__lowercase						,		__lowercase										=							self.get_input_output_texts(_lowerCamelCase )
				__lowercase										=							tokenizer.encode(_lowerCamelCase     ,add_special_tokens=_lowerCamelCase )
				__lowercase										=							tokenizer.decode(_lowerCamelCase     ,clean_up_tokenization_spaces=_lowerCamelCase )
				return text, ids


	def 						_UpperCAmelCase     (self )							->							Dict:







				'''simple docstring'''





				pass  # TODO add if relevant


	def 						_UpperCAmelCase     (self )							->							int:







				'''simple docstring'''





				pass  # TODO add if relevant


	def 						_UpperCAmelCase     (self )							->							List[str]:







				'''simple docstring'''





				pass  # TODO add if relevant


	def 						_UpperCAmelCase     (self )							->							int:







				'''simple docstring'''





				__lowercase										=							self.tokenizer_class(self.vocab_file )

				__lowercase										=							tokenizer.tokenize('''こんにちは、世界。\nこんばんは、世界。''' )
				self.assertListEqual(_lowerCamelCase     ,['''こんにちは''', '''、''', '''世界''', '''。''', '''こん''', '''##ばんは''', '''、''', '''世界''', '''。'''] )
				self.assertListEqual(tokenizer.convert_tokens_to_ids(_lowerCamelCase )     ,[3, 12, 10, 14, 4, 9, 12, 10, 14] )


	def 						_UpperCAmelCase     (self )							->							List[Any]:







				'''simple docstring'''





				__lowercase										=							self.tokenizer_class(self.vocab_file     ,word_tokenizer_type='''mecab''' )
				self.assertIsNotNone(_lowerCamelCase )

				__lowercase										=							'''こんにちは、世界。\nこんばんは、世界。'''
				__lowercase										=							tokenizer.tokenize(_lowerCamelCase )
				self.assertListEqual(_lowerCamelCase     ,['''こんにちは''', '''、''', '''世界''', '''。''', '''こん''', '''##ばんは''', '''、''', '''世界''', '''。'''] )
				self.assertListEqual(tokenizer.convert_tokens_to_ids(_lowerCamelCase )     ,[3, 12, 10, 14, 4, 9, 12, 10, 14] )

				__lowercase										=							os.path.join(self.tmpdirname     ,'''tokenizer.bin''' )
				with open(_lowerCamelCase     ,'''wb''' ) as handle:
							pickle.dump(_lowerCamelCase     ,_lowerCamelCase )

				with open(_lowerCamelCase     ,'''rb''' ) as handle:
							__lowercase										=							pickle.load(_lowerCamelCase )

				__lowercase										=							tokenizer_new.tokenize(_lowerCamelCase )

				self.assertListEqual(_lowerCamelCase     ,_lowerCamelCase )


	def 						_UpperCAmelCase     (self )							->							str:







				'''simple docstring'''





				__lowercase										=							MecabTokenizer(mecab_dic='''ipadic''' )

				self.assertListEqual(
				    tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  ''' )     ,['''アップルストア''', '''で''', '''iPhone''', '''8''', '''が''', '''発売''', '''さ''', '''れ''', '''た''', '''。''']     ,)


	def 						_UpperCAmelCase     (self )							->							List[str]:







				'''simple docstring'''





				try:
							__lowercase										=							MecabTokenizer(mecab_dic='''unidic_lite''' )
				except ModuleNotFoundError:
							return

				self.assertListEqual(
				    tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  ''' )     ,['''アップル''', '''ストア''', '''で''', '''iPhone''', '''8''', '''が''', '''発売''', '''さ''', '''れ''', '''た''', '''。''']     ,)


	def 						_UpperCAmelCase     (self )							->							str:







				'''simple docstring'''





				try:
							__lowercase										=							MecabTokenizer(mecab_dic='''unidic''' )
				except ModuleNotFoundError:
							return

				self.assertListEqual(
				    tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  ''' )     ,['''アップル''', '''ストア''', '''で''', '''iPhone''', '''8''', '''が''', '''発売''', '''さ''', '''れ''', '''た''', '''。''']     ,)


	def 						_UpperCAmelCase     (self )							->							List[Any]:







				'''simple docstring'''





				__lowercase										=							MecabTokenizer(do_lower_case=_lowerCamelCase     ,mecab_dic='''ipadic''' )

				self.assertListEqual(
				    tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  ''' )     ,['''アップルストア''', '''で''', '''iphone''', '''8''', '''が''', '''発売''', '''さ''', '''れ''', '''た''', '''。''']     ,)


	def 						_UpperCAmelCase     (self )							->							Dict:







				'''simple docstring'''





				try:
							__lowercase										=							MecabTokenizer(
							    do_lower_case=_lowerCamelCase     ,normalize_text=_lowerCamelCase     ,mecab_option='''-d /usr/local/lib/mecab/dic/jumandic''' )
				except RuntimeError:
							# if dict doesn't exist in the system, previous code raises this error.
							return

				self.assertListEqual(
				    tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  ''' )     ,['''ｱｯﾌﾟﾙストア''', '''で''', '''iPhone''', '''８''', '''が''', '''発売''', '''さ''', '''れた''', '''\u3000''', '''。''']     ,)


	def 						_UpperCAmelCase     (self )							->							Dict:







				'''simple docstring'''





				__lowercase										=							MecabTokenizer(normalize_text=_lowerCamelCase     ,mecab_dic='''ipadic''' )

				self.assertListEqual(
				    tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  ''' )     ,['''ｱｯﾌﾟﾙストア''', '''で''', '''iPhone''', '''８''', '''が''', '''発売''', '''さ''', '''れ''', '''た''', '''　''', '''。''']     ,)


	@require_sudachi
	def 						_UpperCAmelCase     (self )							->							Optional[int]:







				'''simple docstring'''





				__lowercase										=							self.tokenizer_class(self.vocab_file     ,word_tokenizer_type='''sudachi''' )
				self.assertIsNotNone(_lowerCamelCase )

				__lowercase										=							'''こんにちは、世界。\nこんばんは、世界。'''
				__lowercase										=							tokenizer.tokenize(_lowerCamelCase )
				self.assertListEqual(_lowerCamelCase     ,['''こんにちは''', '''、''', '''世界''', '''。''', '''こん''', '''##ばんは''', '''、''', '''世界''', '''。'''] )
				self.assertListEqual(tokenizer.convert_tokens_to_ids(_lowerCamelCase )     ,[3, 12, 10, 14, 4, 9, 12, 10, 14] )

				__lowercase										=							os.path.join(self.tmpdirname     ,'''tokenizer.bin''' )
				with open(_lowerCamelCase     ,'''wb''' ) as handle:
							pickle.dump(_lowerCamelCase     ,_lowerCamelCase )

				with open(_lowerCamelCase     ,'''rb''' ) as handle:
							__lowercase										=							pickle.load(_lowerCamelCase )

				__lowercase										=							tokenizer_new.tokenize(_lowerCamelCase )

				self.assertListEqual(_lowerCamelCase     ,_lowerCamelCase )


	@require_sudachi
	def 						_UpperCAmelCase     (self )							->							Tuple:







				'''simple docstring'''





				__lowercase										=							SudachiTokenizer(sudachi_dict_type='''core''' )

				self.assertListEqual(
				    tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  ''' )     ,[''' ''', '''\t''', '''アップル''', '''ストア''', '''で''', '''iPhone''', '''8''', ''' ''', '''が''', ''' ''', ''' ''', '''\n ''', '''発売''', '''さ''', '''れ''', '''た''', ''' ''', '''。''', ''' ''', ''' ''']     ,)


	@require_sudachi
	def 						_UpperCAmelCase     (self )							->							int:







				'''simple docstring'''





				__lowercase										=							SudachiTokenizer(sudachi_dict_type='''core'''     ,sudachi_split_mode='''A''' )

				self.assertListEqual(tokenizer.tokenize('''外国人参政権''' )     ,['''外国''', '''人''', '''参政''', '''権'''] )


	@require_sudachi
	def 						_UpperCAmelCase     (self )							->							Tuple:







				'''simple docstring'''





				__lowercase										=							SudachiTokenizer(sudachi_dict_type='''core'''     ,sudachi_split_mode='''B''' )

				self.assertListEqual(tokenizer.tokenize('''外国人参政権''' )     ,['''外国人''', '''参政権'''] )


	@require_sudachi
	def 						_UpperCAmelCase     (self )							->							Optional[Any]:







				'''simple docstring'''





				__lowercase										=							SudachiTokenizer(sudachi_dict_type='''core'''     ,sudachi_split_mode='''C''' )

				self.assertListEqual(tokenizer.tokenize('''外国人参政権''' )     ,['''外国人参政権'''] )


	@require_sudachi
	def 						_UpperCAmelCase     (self )							->							List[Any]:







				'''simple docstring'''





				__lowercase										=							SudachiTokenizer(do_lower_case=_lowerCamelCase     ,sudachi_dict_type='''core''' )

				self.assertListEqual(
				    tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  ''' )     ,[''' ''', '''\t''', '''アップル''', '''ストア''', '''で''', '''iphone''', '''8''', ''' ''', '''が''', ''' ''', ''' ''', '''\n ''', '''発売''', '''さ''', '''れ''', '''た''', ''' ''', '''。''', ''' ''', ''' ''']     ,)


	@require_sudachi
	def 						_UpperCAmelCase     (self )							->							str:







				'''simple docstring'''





				__lowercase										=							SudachiTokenizer(normalize_text=_lowerCamelCase     ,sudachi_dict_type='''core''' )

				self.assertListEqual(
				    tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  ''' )     ,[''' ''', '''\t''', '''ｱｯﾌﾟﾙ''', '''ストア''', '''で''', '''iPhone''', '''８''', ''' ''', '''が''', ''' ''', ''' ''', '''\n ''', '''発売''', '''さ''', '''れ''', '''た''', '''\u3000''', '''。''', ''' ''', ''' ''']     ,)


	@require_sudachi
	def 						_UpperCAmelCase     (self )							->							Dict:







				'''simple docstring'''





				__lowercase										=							SudachiTokenizer(trim_whitespace=_lowerCamelCase     ,sudachi_dict_type='''core''' )

				self.assertListEqual(
				    tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  ''' )     ,['''アップル''', '''ストア''', '''で''', '''iPhone''', '''8''', '''が''', '''発売''', '''さ''', '''れ''', '''た''', '''。''']     ,)


	@require_jumanpp
	def 						_UpperCAmelCase     (self )							->							Optional[Any]:







				'''simple docstring'''





				__lowercase										=							self.tokenizer_class(self.vocab_file     ,word_tokenizer_type='''jumanpp''' )
				self.assertIsNotNone(_lowerCamelCase )

				__lowercase										=							'''こんにちは、世界。\nこんばんは、世界。'''
				__lowercase										=							tokenizer.tokenize(_lowerCamelCase )
				self.assertListEqual(_lowerCamelCase     ,['''こんにちは''', '''、''', '''世界''', '''。''', '''こん''', '''##ばんは''', '''、''', '''世界''', '''。'''] )
				self.assertListEqual(tokenizer.convert_tokens_to_ids(_lowerCamelCase )     ,[3, 12, 10, 14, 4, 9, 12, 10, 14] )

				__lowercase										=							os.path.join(self.tmpdirname     ,'''tokenizer.bin''' )
				with open(_lowerCamelCase     ,'''wb''' ) as handle:
							pickle.dump(_lowerCamelCase     ,_lowerCamelCase )

				with open(_lowerCamelCase     ,'''rb''' ) as handle:
							__lowercase										=							pickle.load(_lowerCamelCase )

				__lowercase										=							tokenizer_new.tokenize(_lowerCamelCase )

				self.assertListEqual(_lowerCamelCase     ,_lowerCamelCase )


	@require_jumanpp
	def 						_UpperCAmelCase     (self )							->							int:







				'''simple docstring'''





				__lowercase										=							JumanppTokenizer()

				self.assertListEqual(
				    tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  ''' )     ,['''アップル''', '''ストア''', '''で''', '''iPhone''', '''8''', '''\u3000''', '''が''', '''\u3000''', '''\u3000''', '''\u3000''', '''発売''', '''さ''', '''れた''', '''\u3000''', '''。''']     ,)


	@require_jumanpp
	def 						_UpperCAmelCase     (self )							->							Tuple:







				'''simple docstring'''





				__lowercase										=							JumanppTokenizer(do_lower_case=_lowerCamelCase )

				self.assertListEqual(
				    tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  ''' )     ,['''アップル''', '''ストア''', '''で''', '''iphone''', '''8''', '''\u3000''', '''が''', '''\u3000''', '''\u3000''', '''\u3000''', '''発売''', '''さ''', '''れた''', '''\u3000''', '''。''']     ,)


	@require_jumanpp
	def 						_UpperCAmelCase     (self )							->							str:







				'''simple docstring'''





				__lowercase										=							JumanppTokenizer(normalize_text=_lowerCamelCase )

				self.assertListEqual(
				    tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  ''' )     ,['''ｱ''', '''ｯ''', '''ﾌ''', '''ﾟ''', '''ﾙ''', '''ストア''', '''で''', '''iPhone''', '''８''', '''\u3000''', '''が''', '''\u3000''', '''\u3000''', '''\u3000''', '''発売''', '''さ''', '''れた''', '''\u3000''', '''。''']     ,)


	@require_jumanpp
	def 						_UpperCAmelCase     (self )							->							List[str]:







				'''simple docstring'''





				__lowercase										=							JumanppTokenizer(trim_whitespace=_lowerCamelCase )

				self.assertListEqual(
				    tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  ''' )     ,['''アップル''', '''ストア''', '''で''', '''iPhone''', '''8''', '''が''', '''発売''', '''さ''', '''れた''', '''。''']     ,)


	@require_jumanpp
	def 						_UpperCAmelCase     (self )							->							int:







				'''simple docstring'''





				__lowercase										=							JumanppTokenizer()

				self.assertListEqual(
				    tokenizer.tokenize('''ありがとうございますm(_ _)ｍ見つけるのが大変です。''' )     ,['''ありがとう''', '''ございます''', '''m(_ _)m''', '''見つける''', '''の''', '''が''', '''大変です''', '''。''']     ,)


	def 						_UpperCAmelCase     (self )							->							Optional[int]:







				'''simple docstring'''





				__lowercase										=							['''[UNK]''', '''[CLS]''', '''[SEP]''', '''こんにちは''', '''こん''', '''にちは''', '''ばんは''', '''##こん''', '''##にちは''', '''##ばんは''']

				__lowercase										=							{}
				for i, token in enumerate(_lowerCamelCase ):
							__lowercase										=							i
				__lowercase										=							WordpieceTokenizer(vocab=_lowerCamelCase     ,unk_token='''[UNK]''' )

				self.assertListEqual(tokenizer.tokenize('''''' )     ,[] )

				self.assertListEqual(tokenizer.tokenize('''こんにちは''' )     ,['''こんにちは'''] )

				self.assertListEqual(tokenizer.tokenize('''こんばんは''' )     ,['''こん''', '''##ばんは'''] )

				self.assertListEqual(tokenizer.tokenize('''こんばんは こんばんにちは こんにちは''' )     ,['''こん''', '''##ばんは''', '''[UNK]''', '''こんにちは'''] )


	def 						_UpperCAmelCase     (self )							->							Union[str, Any]:







				'''simple docstring'''





				__lowercase										=							BertJapaneseTokenizer.from_pretrained('''nlp-waseda/roberta-base-japanese-with-auto-jumanpp''' )
				__lowercase										=							tokenizer.subword_tokenizer

				__lowercase										=							subword_tokenizer.tokenize('''国境 の 長い トンネル を 抜ける と 雪国 であった 。''' )
				self.assertListEqual(_lowerCamelCase     ,['''▁国境''', '''▁の''', '''▁長い''', '''▁トンネル''', '''▁を''', '''▁抜ける''', '''▁と''', '''▁雪''', '''国''', '''▁であった''', '''▁。'''] )

				__lowercase										=							subword_tokenizer.tokenize('''こんばんは こんばん にち は こんにちは''' )
				self.assertListEqual(_lowerCamelCase     ,['''▁こん''', '''ばん''', '''は''', '''▁こん''', '''ばん''', '''▁に''', '''ち''', '''▁は''', '''▁こんにちは'''] )


	def 						_UpperCAmelCase     (self )							->							List[Any]:







				'''simple docstring'''





				__lowercase										=							self.tokenizer_class.from_pretrained('''cl-tohoku/bert-base-japanese''' )

				__lowercase										=							tokenizer.encode('''ありがとう。'''     ,add_special_tokens=_lowerCamelCase )
				__lowercase										=							tokenizer.encode('''どういたしまして。'''     ,add_special_tokens=_lowerCamelCase )

				__lowercase										=							tokenizer.build_inputs_with_special_tokens(_lowerCamelCase )
				__lowercase										=							tokenizer.build_inputs_with_special_tokens(_lowerCamelCase     ,_lowerCamelCase )

				# 2 is for "[CLS]", 3 is for "[SEP]"
				assert encoded_sentence == [2] + text + [3]
				assert encoded_pair == [2] + text + [3] + text_a + [3]






@custom_tokenizers
class 							__lowercase       (      lowerCAmelCase__ ,      unittest.TestCase						):







	'''simple docstring'''

	a    :				List[Any]											=       BertJapaneseTokenizer
	a    :				List[Any]											=       False


	def 						_UpperCAmelCase     (self )							->							Any:







				'''simple docstring'''





				super().setUp()

				__lowercase										=							['''[UNK]''', '''[CLS]''', '''[SEP]''', '''こ''', '''ん''', '''に''', '''ち''', '''は''', '''ば''', '''世''', '''界''', '''、''', '''。''']

				__lowercase										=							os.path.join(self.tmpdirname     ,VOCAB_FILES_NAMES['''vocab_file'''] )
				with open(self.vocab_file     ,'''w'''     ,encoding='''utf-8''' ) as vocab_writer:
							vocab_writer.write(''''''.join([x + '''\n''' for x in vocab_tokens] ) )


	def 						_UpperCAmelCase     (self     ,**_lowerCamelCase )							->							Dict:







				'''simple docstring'''





				return BertJapaneseTokenizer.from_pretrained(self.tmpdirname     ,subword_tokenizer_type='''character'''     ,**_lowerCamelCase )


	def 						_UpperCAmelCase     (self     ,_lowerCamelCase )							->							Optional[int]:







				'''simple docstring'''





				__lowercase										=							'''こんにちは、世界。 \nこんばんは、世界。'''
				__lowercase										=							'''こ ん に ち は 、 世 界 。 こ ん ば ん は 、 世 界 。'''
				return input_text, output_text


	def 						_UpperCAmelCase     (self )							->							Optional[int]:







				'''simple docstring'''





				pass  # TODO add if relevant


	def 						_UpperCAmelCase     (self )							->							Dict:







				'''simple docstring'''





				pass  # TODO add if relevant


	def 						_UpperCAmelCase     (self )							->							Dict:







				'''simple docstring'''





				pass  # TODO add if relevant


	def 						_UpperCAmelCase     (self )							->							List[str]:







				'''simple docstring'''





				__lowercase										=							self.tokenizer_class(self.vocab_file     ,subword_tokenizer_type='''character''' )

				__lowercase										=							tokenizer.tokenize('''こんにちは、世界。 \nこんばんは、世界。''' )
				self.assertListEqual(
				    _lowerCamelCase     ,['''こ''', '''ん''', '''に''', '''ち''', '''は''', '''、''', '''世''', '''界''', '''。''', '''こ''', '''ん''', '''ば''', '''ん''', '''は''', '''、''', '''世''', '''界''', '''。'''] )
				self.assertListEqual(
				    tokenizer.convert_tokens_to_ids(_lowerCamelCase )     ,[3, 4, 5, 6, 7, 11, 9, 10, 12, 3, 4, 8, 4, 7, 11, 9, 10, 12] )


	def 						_UpperCAmelCase     (self )							->							Optional[int]:







				'''simple docstring'''





				__lowercase										=							['''[UNK]''', '''[CLS]''', '''[SEP]''', '''こ''', '''ん''', '''に''', '''ち''', '''は''', '''ば''', '''世''', '''界''', '''、''', '''。''']

				__lowercase										=							{}
				for i, token in enumerate(_lowerCamelCase ):
							__lowercase										=							i
				__lowercase										=							CharacterTokenizer(vocab=_lowerCamelCase     ,unk_token='''[UNK]''' )

				self.assertListEqual(tokenizer.tokenize('''''' )     ,[] )

				self.assertListEqual(tokenizer.tokenize('''こんにちは''' )     ,['''こ''', '''ん''', '''に''', '''ち''', '''は'''] )

				self.assertListEqual(tokenizer.tokenize('''こんにちほ''' )     ,['''こ''', '''ん''', '''に''', '''ち''', '''[UNK]'''] )


	def 						_UpperCAmelCase     (self )							->							List[str]:







				'''simple docstring'''





				__lowercase										=							self.tokenizer_class.from_pretrained('''cl-tohoku/bert-base-japanese-char''' )

				__lowercase										=							tokenizer.encode('''ありがとう。'''     ,add_special_tokens=_lowerCamelCase )
				__lowercase										=							tokenizer.encode('''どういたしまして。'''     ,add_special_tokens=_lowerCamelCase )

				__lowercase										=							tokenizer.build_inputs_with_special_tokens(_lowerCamelCase )
				__lowercase										=							tokenizer.build_inputs_with_special_tokens(_lowerCamelCase     ,_lowerCamelCase )

				# 2 is for "[CLS]", 3 is for "[SEP]"
				assert encoded_sentence == [2] + text + [3]
				assert encoded_pair == [2] + text + [3] + text_a + [3]






@custom_tokenizers
class 							__lowercase       (      unittest.TestCase						):







	'''simple docstring'''

	def 						_UpperCAmelCase     (self )							->							int:







				'''simple docstring'''





				__lowercase										=							'''cl-tohoku/bert-base-japanese'''
				__lowercase										=							AutoTokenizer.from_pretrained(_lowerCamelCase )
				self.assertIsInstance(_lowerCamelCase     ,_lowerCamelCase )






class 							__lowercase       (      unittest.TestCase						):







	'''simple docstring'''

	def 						_UpperCAmelCase     (self )							->							Dict:







				'''simple docstring'''





				__lowercase										=							'''cl-tohoku/bert-base-japanese'''
				with self.assertLogs('''transformers'''     ,level='''WARNING''' ) as cm:
							BertTokenizer.from_pretrained(_lowerCamelCase )
							self.assertTrue(
							    cm.records[0].message.startswith(
							        '''The tokenizer class you load from this checkpoint is not the same type as the class this function'''
							        ''' is called from.''' ) )
				__lowercase										=							'''bert-base-cased'''
				with self.assertLogs('''transformers'''     ,level='''WARNING''' ) as cm:
							BertJapaneseTokenizer.from_pretrained(_lowerCamelCase )
							self.assertTrue(
							    cm.records[0].message.startswith(
							        '''The tokenizer class you load from this checkpoint is not the same type as the class this function'''
							        ''' is called from.''' ) )












'''simple docstring'''



import json
from typing import Iterator, List, Union

from tokenizers import AddedToken, Regex, Tokenizer, decoders, normalizers, pre_tokenizers, trainers
from tokenizers.implementations.base_tokenizer import BaseTokenizer
from tokenizers.models import Unigram
from tokenizers.processors import TemplateProcessing






class 							__lowercase       (      lowerCAmelCase__						):







	'''simple docstring'''

	def __init__(self     ,_lowerCamelCase = "▁"     ,_lowerCamelCase = True     ,_lowerCamelCase = "<unk>"     ,_lowerCamelCase = "</s>"     ,_lowerCamelCase = "<pad>"     ,)							->							List[Any]:







				'''simple docstring'''





				__lowercase										=							{
				    '''pad''': {'''id''': 0, '''token''': pad_token},
				    '''eos''': {'''id''': 1, '''token''': eos_token},
				    '''unk''': {'''id''': 2, '''token''': unk_token},
				}

				__lowercase										=							[None] * len(self.special_tokens )
				for token_dict in self.special_tokens.values():
							__lowercase										=							token_dict['''token''']

				__lowercase										=							Tokenizer(Unigram() )

				__lowercase										=							normalizers.Sequence(
				    [
				        normalizers.Nmt(),
				        normalizers.NFKC(),
				        normalizers.Replace(Regex(''' {2,}''' )     ,''' ''' ),
				        normalizers.Lowercase(),
				    ] )
				__lowercase										=							pre_tokenizers.Sequence(
				    [
				        pre_tokenizers.Metaspace(replacement=_lowerCamelCase     ,add_prefix_space=_lowerCamelCase ),
				        pre_tokenizers.Digits(individual_digits=_lowerCamelCase ),
				        pre_tokenizers.Punctuation(),
				    ] )
				__lowercase										=							decoders.Metaspace(replacement=_lowerCamelCase     ,add_prefix_space=_lowerCamelCase )

				__lowercase										=							TemplateProcessing(
				    single=f"$A {self.special_tokens['eos']['token']}"     ,special_tokens=[(self.special_tokens['''eos''']['''token'''], self.special_tokens['''eos''']['''id'''])]     ,)

				__lowercase										=							{
				    '''model''': '''SentencePieceUnigram''',
				    '''replacement''': replacement,
				    '''add_prefix_space''': add_prefix_space,
				}

				super().__init__(_lowerCamelCase     ,_lowerCamelCase )


	def 						_UpperCAmelCase     (self     ,_lowerCamelCase     ,_lowerCamelCase = 8000     ,_lowerCamelCase = True     ,)							->							Union[str, Any]:







				'''simple docstring'''





				__lowercase										=							trainers.UnigramTrainer(
				    vocab_size=_lowerCamelCase     ,special_tokens=self.special_tokens_list     ,show_progress=_lowerCamelCase     ,)

				if isinstance(_lowerCamelCase     ,_lowerCamelCase ):
							__lowercase										=							[files]
				self._tokenizer.train(_lowerCamelCase     ,trainer=_lowerCamelCase )

				self.add_unk_id()


	def 						_UpperCAmelCase     (self     ,_lowerCamelCase     ,_lowerCamelCase = 8000     ,_lowerCamelCase = True     ,)							->							List[str]:







				'''simple docstring'''





				__lowercase										=							trainers.UnigramTrainer(
				    vocab_size=_lowerCamelCase     ,special_tokens=self.special_tokens_list     ,show_progress=_lowerCamelCase     ,)

				self._tokenizer.train_from_iterator(_lowerCamelCase     ,trainer=_lowerCamelCase )

				self.add_unk_id()


	def 						_UpperCAmelCase     (self )							->							Tuple:







				'''simple docstring'''





				__lowercase										=							json.loads(self._tokenizer.to_str() )

				__lowercase										=							self.special_tokens['''unk''']['''id''']

				__lowercase										=							Tokenizer.from_str(json.dumps(_lowerCamelCase ) )





