Phi-3.5-mini-instruct-0622

모델 개요

Phi-3.5-mini-instruct-0622는 금융 신용 평가를 위해 특별히 설계된 한국어 언어 모델입니다.

베이스 모델: unsloth/Phi-3.5-mini-instruct 데이터셋: himedia/financial_dummy_data_v4 학습 방법: LoRA (Low-Rank Adaptation) 학습 일시: 2025-06-22 14:21:33

📊 학습 결과

• Final Training Loss: 0.1576
• Final Validation Loss: N/A
• Best Validation Loss: N/A (step None)
• Overall Improvement: 81.8
• Training Time: 84.06 minutes

하이퍼파라미터

• Learning Rate: 0.0002
• Max Steps: 1000
• Batch Size: 2
• Gradient Accumulation: 8
• LoRA r: 64
• LoRA alpha: 64
• Max Sequence Length: 2048
• Warmup Steps: 5

🔧 메모리 사용량

• GPU: NVIDIA RTX A5000
• Peak Memory: 3.8100 GB
• Memory Usage: 16.1%

사용 방법

from transformers import AutoTokenizer, AutoModelForCausalLM

# 모델과 토크나이저 로드
tokenizer = AutoTokenizer.from_pretrained("himedia/Phi-3.5-mini-instruct")
model = AutoModelForCausalLM.from_pretrained("himedia/Phi-3.5-mini-instruct")

# 간단한 추론 예제
prompt = "고객의 신용등급을 평가해주세요:"
inputs = tokenizer(prompt, return_tensors="pt")
outputs = model.generate(**inputs, max_length=200)
result = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(result)

📊 학습 데이터 파일

이 레포지토리에는 다음 학습 관련 파일들이 포함되어 있습니다:

• training_log.json: 전체 학습 로그 (JSON 형식)
• Phi-3.5-mini-instruct-0622_0622_training_curves.png: 학습 곡선 시각화 이미지

레포지토리명 구성

Phi-3.5-mini-instruct = phi_3.5b_mini_instruct00002-bs2-r64-steps1000

• phi_3.5b_mini_instruct: 모델 기본명
• lr00002: Learning Rate
• bs2: Batch Size
• r64: LoRA rank
• steps1000: 학습 스텝
• 2025-06-22 14:21:33: 학습 시각

성능

이 모델은 한국어 금융 텍스트에 대해 파인튜닝되어 신용 평가 관련 질의응답에 특화되어 있습니다.

라이선스

Apache 2.0