README.md

---
language:
- zh
license: apache-2.0
library_name: transformers
tags:
- medical
- chinese
- qa
- gemma3n
- lora
- unsloth
base_model: unsloth/gemma-3n-E4B-it
datasets:
- FreedomIntelligence/huatuo_encyclopedia_qa
- FreedomIntelligence/medical-o1-reasoning-SFT
- FreedomIntelligence/huatuo_knowledge_graph_qa
pipeline_tag: text-generation
---

# MedGemma3N-chinese-qa-v1

## 模型简介

MedGemma3N-chinese-qa-v1 是基于 Gemma3N-4B 架构的中文医学问答模型第一阶段版本，专门针对中文医学领域进行了微调优化。

## 模型特点

- **版本**: v1 (第一阶段基础版本)
- **基础架构**: Gemma3N-4B + LoRA微调
- **训练数据**: 13,153条高质量中文医学问答数据
- **数据扩展**: 相比原始数据增长4.7倍
- **专业领域**: 涵盖疾病诊断、治疗建议、药物咨询等
- **后续计划**: 将基于85,000条专业临床数据进行第二阶段增强

## 训练数据来源

| 数据源 | 数量 | 占比 | 描述 |
|--------|------|------|------|
| 华佗百科问答 | 7,960条 | 60.5% | 复旦大学华佗医学百科问答数据集 |
| 医疗推理数据 | 2,924条 | 22.2% | FreedomIntelligence医学O1推理数据 |
| 华佗知识图谱 | 2,269条 | 17.3% | 结构化医学知识问答数据 |

## 训练配置

- **基础模型**: unsloth/gemma-3n-E4B-it
- **微调方法**: LoRA (rank=16, alpha=32)
- **训练步数**: 8,000步
- **学习率**: 2e-4
- **批次大小**: 4 (1×4梯度累积)
- **优化器**: adamw_8bit

## 使用方法

```python
from unsloth import FastModel

# 加载模型
model, tokenizer = FastModel.from_pretrained(
    "ZhangQiao123/MedGemma3N-chinese-qa-v1",
    dtype=None,
    load_in_4bit=True
)

# 生成回答
messages = [{"role": "user", "content": "什么是高血压？"}]
inputs = tokenizer.apply_chat_template(messages, tokenize=True, return_tensors="pt")

outputs = model.generate(
    inputs,
    max_new_tokens=512,
    temperature=0.7,
    do_sample=True
)

response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(response)
```

## 应用场景

- 中文医学问答
- 疾病症状咨询
- 治疗建议提供
- 药物使用指导
- 医学知识解释

## 模型性能

该模型在以下方面表现优秀：
- ✅ 医学术语理解准确
- ✅ 疾病诊断推理合理
- ✅ 治疗建议专业可靠
- ✅ 中文医学表达流畅

## 注意事项

⚠️ **重要提醒**: 
- 本模型仅供学习研究使用
- 不能替代专业医生诊断
- 实际医疗决策请咨询专业医生
- 模型回答仅供参考

## 技术细节

- **模型大小**: ~4B参数 + LoRA适配器
- **推理速度**: 支持4位量化快速推理
- **内存需求**: 约8-12GB GPU内存
- **支持框架**: Transformers, Unsloth

## 开发团队

基于Unsloth框架和FreedomIntelligence数据集开发

## 许可证

Apache 2.0

## 更新日志

- **v1.0** (2025-01-25): 第一阶段基础版本发布，基于13,153条中文医学数据训练
- **计划v2.0**: 第二阶段专业增强版本，将基于85,000条专业临床数据进行训练