Update README.md

README.md

@@ -26,21 +26,56 @@ Wikipediaのデータが中心なので、回答はWikipediaっぽい感じに
 V1に比べると、モノや場所などの概念を持っているようないないような。
 データセットはV1と同じですが、学習ステップ数が76,000と延長。
 
+学習記録はこちら
+https://wandb.ai/tahomatx/huggingface/runs/xyy19rbx
 
-サンプルコード。モデルのロードは少し時間が掛かりますが、Inferenceは結構速いです。
-GenerationConfigが必須。モデルが小さいので、beam searchや repeat関係は結構重要。
 
+Instruction-Answer例
+※ モデルは、Instructionの後に、Answerを追記します。入力は、Instruction部分までを入力します。
+
+```
+### Instruction:
+東京駅について説明してください。
+
+### Context:
+
+
+
+### Answer:
+東急東横線・神楽坂駅から徒歩約10分のところに位置している。改札口は1ヶ所のみで、乗車券は駅前ロータリーに設置されており、自動券売機等の設備はない。出入口は1番から4番までの合計6ヵ所あり、それぞれのホームには駐輪場が設けられている（2019年3月現在）。 ⁇ 無人駅である。 ⁇ 簡易委託駅であったが、2018年3月31日をもって廃止され、有人駅時代の駅舎は取り壊されてしまった。
+JR東日本ステーションサービスによる業務
+```
+
+```
+### Instruction:
+ドラえもんについて説明してください。
+
+
+### Context:
+
+
+
+### Answer:
+2007年10月1日から2008年3月31日まで放送された約5分の短編ドラマ。主演は声優の山口智充、脚本・演出は鈴木亜美子。原作とは異なるストーリーが展開されており、登場人物の設定もそれに合わせて変更され ている。
+```
+
+
+
+
+サンプルコードです。
 
 ```python
-from transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfig
+from transformers import OpenLlamaForCausalLM, LlamaTokenizer, GenerationConfig, TextStreamer, AutoModelForCausalLM
 import torch
-import time
 import random
 import numpy as np
+import time
+
 
 #
 # Fix seed
 #
+
 seed = 42
 
 random.seed(seed)
@@ -55,14 +90,11 @@ torch.use_deterministic_algorithms = True
 torch.set_default_dtype(torch.bfloat16)
 
 
-
-model_id = "aerner/lm-v1"
-
+model_id = "aerner/lm-v2"
 
 text = """### Instruction:
 東京駅について説明してください。
 
-
 ### Context:
 
 
@@ -71,21 +103,25 @@ text = """### Instruction:
 """
 
 with torch.no_grad():
-    tokenizer = AutoTokenizer.from_pretrained(model_id)
-    tokenized_input = tokenizer(text, return_tensors="pt").to('cuda')
-
+    tokenizer = LlamaTokenizer.from_pretrained(model_id)
     model = AutoModelForCausalLM.from_pretrained(
-        model_id, device_map="auto", torch_dtype=torch.bfloat16)
+        model_id,
+        device_map="auto",
+        torch_dtype=torch.bfloat16,
+        # load_in_8bit=True,
+    )
 
     generation_config = GenerationConfig(
         max_new_tokens=256,
         min_new_tokens=1,
         early_stopping=True,
-        do_sample=True,
 
+        do_sample=True,
         num_beams=8,
+
         temperature=1.0,
         top_p=0.6,
+
         penalty_alpha=0.4,
         no_repeat_ngram_size=4,
         repetition_penalty=1.4,
@@ -96,13 +132,13 @@ with torch.no_grad():
 
     start = time.time()
 
+    tokenized_input = tokenizer(text, return_tensors="pt").to('cuda')
     generation_output = model.generate(
         input_ids=tokenized_input['input_ids'],
         generation_config=generation_config,
         return_dict_in_generate=True,
         output_scores=True,
     )
-
     for s in generation_output.sequences:
         output = tokenizer.decode(s)
         print(output)