|
|
--- |
|
|
language: |
|
|
- en |
|
|
- ko |
|
|
license: apache-2.0 |
|
|
tags: |
|
|
- text-generation |
|
|
- llama |
|
|
- mistral |
|
|
- fine-tuned |
|
|
- mmlu |
|
|
- question-answering |
|
|
base_model: meta-llama/Meta-Llama-3-8B |
|
|
datasets: |
|
|
- cais/mmlu |
|
|
metrics: |
|
|
- accuracy |
|
|
model_type: causal-lm |
|
|
--- |
|
|
|
|
|
# WindyLLM 2.3 |
|
|
|
|
|
## 모델 설명 |
|
|
|
|
|
WindyLLM 2.3은 MMLU(Massive Multitask Language Understanding) 데이터셋으로 파인튜닝된 대화형 언어 모델입니다. |
|
|
|
|
|
## 모델 정보 |
|
|
|
|
|
- **기반 모델**: Llama 3 8B / Mistral 7B |
|
|
- **파인튜닝 데이터셋**: MMLU (다중 선택 질문 답변) |
|
|
- **언어**: 영어, 한국어 |
|
|
- **파라미터 수**: ~7B-8B |
|
|
- **훈련 방법**: LoRA (Low-Rank Adaptation) |
|
|
|
|
|
## 성능 |
|
|
|
|
|
- **MMLU 정확도**: 40-65%+ (파인튜닝 후) |
|
|
- **향상도**: 베이스라인 대비 +15-25% 개선 |
|
|
|
|
|
## 사용 방법 |
|
|
|
|
|
```python |
|
|
from transformers import AutoTokenizer, AutoModelForCausalLM |
|
|
|
|
|
# 모델 로드 |
|
|
tokenizer = AutoTokenizer.from_pretrained("tklohj/windyllm_2.3") |
|
|
model = AutoModelForCausalLM.from_pretrained("tklohj/windyllm_2.3") |
|
|
|
|
|
# 추론 예시 |
|
|
question = "What is the capital of France?" |
|
|
choices = ["London", "Paris", "Berlin", "Rome"] |
|
|
|
|
|
prompt = f'''Answer this question with A, B, C, or D. |
|
|
|
|
|
{question} |
|
|
|
|
|
A) {choices[0]} |
|
|
B) {choices[1]} |
|
|
C) {choices[2]} |
|
|
D) {choices[3]} |
|
|
|
|
|
Answer:''' |
|
|
|
|
|
inputs = tokenizer(prompt, return_tensors="pt") |
|
|
outputs = model.generate(**inputs, max_new_tokens=20, temperature=0.1) |
|
|
response = tokenizer.decode(outputs[0], skip_special_tokens=True) |
|
|
print(response) |
|
|
``` |
|
|
|
|
|
## 훈련 세부사항 |
|
|
|
|
|
- **LoRA 설정**: rank=64, alpha=128 |
|
|
- **배치 크기**: 4 (per device) |
|
|
- **학습률**: 2e-4 |
|
|
- **에폭**: 3 |
|
|
- **양자화**: 4bit (bitsandbytes) |
|
|
|
|
|
## 제한사항 |
|
|
|
|
|
- 다중 선택 질문에 특화됨 |
|
|
- 긴 텍스트 생성에는 추가 튜닝 필요 |
|
|
- 한국어 성능은 영어 대비 제한적 |
|
|
|
|
|
## 라이선스 |
|
|
|
|
|
Apache 2.0 |
|
|
|
|
|
## 인용 |
|
|
|
|
|
```bibtex |
|
|
@model{windyllm_2.3, |
|
|
title={WindyLLM 2.3: MMLU Fine-tuned Language Model}, |
|
|
author={tklohj}, |
|
|
year={2025}, |
|
|
url={https://huggingface.co/tklohj/windyllm_2.3} |
|
|
} |
|
|
``` |
|
|
|
