yasutoshi-lab/Llama-3.2-1B-Instruct-QA-v4-q4km-gguf

モデル情報

このモデルは「meta-llama/Llama-3.2-1B」をベースに、Instruction-Tuningを実施したモデルです

llama.cppを利用してggufに変換後、さらにq4_k_mに量子化しました

(https://github.com/ggml-org/llama.cpp/releases/tag/b6020)

Ollamaでも公開しているため、こちらからご利用いただけます

https://ollama.com/Areku/Llama-3.2-1B-Instruct-QA-v4-q4km

下記の2種のライセンス要件を継承します

• Llama 3.2 Community License
• CC BY‑NC 4.0

データセット

訓練・検証データセット

• データソース: https://github.com/tatsu-lab/stanford_alpaca
• データ件数: 52,002件
• 言語: 英語
• データ形式:
  • instruction: モデルが実行すべきタスクで、データセット内部にあるinstructionはそれぞれ一意 str型
  • input: タスクのオプションのコンテキストまたは入力。データ件数のうち約40%に入力がある str型
  • output: text-davinci-003によって生成された、instructionに対する答え str型
• ライセンス: CC BY NC 4.0

評価データセット

• データソース: https://huggingface.co/datasets/tatsu-lab/alpaca_eval/blob/main/alpaca_eval.json
• データ件数: 805件
• 言語: 英語
• データ形式:
  • instruction: モデルが実行すべきタスクで、データセット内部にあるinstructionはそれぞれ一意 str型
  • input: タスクのオプションのコンテキストまたは入力。データ件数のうち約40%に入力がある str型
  • output: text-davinci-003によって生成された、instructionに対する答え str型
• ライセンス: CC BY NC 4.0

利用方法

import torch
from transformers import pipeline

model_id = "ArekuNoimar/Llama-3.2-1B-Instruct-QA-v4"

pipe = pipeline(
    "text-generation",
    model=model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)

messages = [
    {"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},
    {"role": "user", "content": "Who are you?"},
]

outputs = pipe(
    messages,
    max_new_tokens=2048,
    temperature=0.7,
)
print(outputs[0]["generated_text"][-1])