MedGemma3N-chinese-qa-v1

模型简介

MedGemma3N-chinese-qa-v1 是基于 Gemma3N-4B 架构的中文医学问答模型第一阶段版本，专门针对中文医学领域进行了微调优化。

模型特点

• 版本: v1 (第一阶段基础版本)
• 基础架构: Gemma3N-4B + LoRA微调
• 训练数据: 13,153条高质量中文医学问答数据
• 数据扩展: 相比原始数据增长4.7倍
• 专业领域: 涵盖疾病诊断、治疗建议、药物咨询等
• 后续计划: 将基于85,000条专业临床数据进行第二阶段增强

训练数据来源

数据源	数量	占比	描述
华佗百科问答	7,960条	60.5%	复旦大学华佗医学百科问答数据集
医疗推理数据	2,924条	22.2%	FreedomIntelligence医学O1推理数据
华佗知识图谱	2,269条	17.3%	结构化医学知识问答数据

训练配置

• 基础模型: unsloth/gemma-3n-E4B-it
• 微调方法: LoRA (rank=16, alpha=32)
• 训练步数: 8,000步
• 学习率: 2e-4
• 批次大小: 4 (1×4梯度累积)
• 优化器: adamw_8bit

使用方法

from unsloth import FastModel

# 加载模型
model, tokenizer = FastModel.from_pretrained(
    "ZhangQiao123/MedGemma3N-chinese-qa-v1",
    dtype=None,
    load_in_4bit=True
)

# 生成回答
messages = [{"role": "user", "content": "什么是高血压？"}]
inputs = tokenizer.apply_chat_template(messages, tokenize=True, return_tensors="pt")

outputs = model.generate(
    inputs,
    max_new_tokens=512,
    temperature=0.7,
    do_sample=True
)

response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(response)

应用场景

• 中文医学问答
• 疾病症状咨询
• 治疗建议提供
• 药物使用指导
• 医学知识解释

模型性能

该模型在以下方面表现优秀：

• ✅ 医学术语理解准确
• ✅ 疾病诊断推理合理
• ✅ 治疗建议专业可靠
• ✅ 中文医学表达流畅

注意事项

⚠️ 重要提醒:

• 本模型仅供学习研究使用
• 不能替代专业医生诊断
• 实际医疗决策请咨询专业医生
• 模型回答仅供参考

技术细节

• 模型大小: ~4B参数 + LoRA适配器
• 推理速度: 支持4位量化快速推理
• 内存需求: 约8-12GB GPU内存
• 支持框架: Transformers, Unsloth

开发团队

基于Unsloth框架和FreedomIntelligence数据集开发

许可证

Apache 2.0

更新日志

• v1.0 (2025-01-25): 第一阶段基础版本发布，基于13,153条中文医学数据训练
• 计划v2.0: 第二阶段专业增强版本，将基于85,000条专业临床数据进行训练