Model Card for Qwen-3-0.6B-Reasoning-Vi-Medical-LoRA

This model is a fine-tuned version of unsloth/qwen3-0.6b-unsloth-bnb-4bit. It has been trained using TRL.

Training procedure

This model was trained with SFT.

Usage

HuggingFace Authentication

import os
from huggingface_hub import login

# Set the Hugging Face API token
os.environ["HUGGINGFACEHUB_API_TOKEN"] = "<your_huggingface_token>"

# # Initialize API
login(os.environ.get("HUGGINGFACEHUB_API_TOKEN"))

Inference

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

device = "cuda" if torch.cuda.is_available() else "cpu"

# Define model and LoRA adapter paths
base_model_name = "Qwen/Qwen3-0.6B"
lora_adapter_name = "danhtran2mind/Qwen-3-0.6B-Reasoning-Vi-Medical-LoRA"

# Load tokenizer
tokenizer = AutoTokenizer.from_pretrained(base_model_name)

# Load base model with optimized settings
model = AutoModelForCausalLM.from_pretrained(
    base_model_name,
    torch_dtype=torch.float16,  # Use FP16 for efficiency
    device_map=device,
    trust_remote_code=True
)

# Apply LoRA adapter
model = PeftModel.from_pretrained(model, lora_adapter_name)

# Set model to evaluation mode
model.eval()

inference_prompt_style = """Bên dưới là một hướng dẫn mô tả một tác vụ, đi kèm với một thông tin đầu vào để cung cấp thêm ngữ cảnh.
Hãy viết một phản hồi để hoàn thành yêu cầu một cách phù hợp.
Trước khi trả lời, hãy suy nghĩ cẩn thận về câu hỏi và tạo một chuỗi suy nghĩ từng bước để đảm bảo phản hồi logic và chính xác.

### Instruction:
Bạn là một chuyên gia y tế có kiến thức chuyên sâu về lập luận lâm sàng, chẩn đoán và lập kế hoạch điều trị.
Vui lòng trả lời câu hỏi y tế sau đây.

### Question:
{}

### Response:
<think>
"""

# Define the prompt
prompt = ("Khi nghi ngờ bị loét dạ dày tá tràng nên đến khoa nào "
            "tại bệnh viện để thăm khám?")

seed = 42
torch.manual_seed(seed)
if torch.cuda.is_available():
    torch.cuda.manual_seed(seed)
    torch.cuda.manual_seed_all(seed)

inputs = tokenizer(
    [inference_prompt_style.format(prompt) + tokenizer.eos_token],
    return_tensors="pt"
).to(device)

outputs = model.generate(
    **inputs,
    max_new_tokens=2048,
    temperature=0.7,
    top_p=0.95,
    top_k=64,
)

response = tokenizer.batch_decode(outputs, skip_special_tokens=True)
print(response[0].split("### Response:")[1])

<think>

Bác sĩ sẽ nghi ngờ bạn bị loét dạ dày – tá tràng nếu bạn bị đau tay, chân hoặc tiêu chảy dai dẳng. Nếu bác sĩ có nhiều nghi ngờ về tình trạng bạn, bác sĩ có thể đề nghị một số xét nghiệm để hỗ trợ: - Xét nghiệm máu. Xét nghiệm máu để kiểm tra xem các loại thuốc bạn đang sử dụng có tác dụng kích thích loét hoặc không có tác dụng với bạn. Bạn cũng có thể yêu cầu xét nghiệm chức năng gan, tim để kiểm tra chức năng hoạt động của các cơ quan.
- Xét nghiệm nước tiểu. Bạn có thể được yêu cầu xét nghiệm nước tiểu để kiểm tra tình trạng nhiễm trùng.
- Chụp X-quang dạ dày có thuốc cản quang. Bác sĩ có thể cho một loại thuốc cản quang và chụp X-quang dạ dày. - Chụp CT扫描, có thuốc cản quang. Bác sĩ sẽ cho bạn một số loại thuốc giảm nhẹ chức năng tim mạch và chuyển hoá sugar. Xam hồng được thực hiện để chụp CT scan, giúp xác định vị trí và mức độ lan tỏa loét di căn đến tim hoặc gan.
- MRI. MRI là xét nghiệm hình ảnh cóc để kiểm tra tình trạng nhiễm trùng, đồng thời giúp xác định vị trí loét.
- Xét nghiệm máu khác. Các xét nghiệm khác có thể được thực hiện để khảo sát tình trạng nhiễm trùng hoặc chức năng hoạt động của gan. Xét nghiệm phổi có thể được thực hiện để khảo sát tình trạng nhiễm trùng hoặc kiểm soát biến chứng của bệnh phổi. - Chụp X-quang bụng without iodide. Một loại chụp X-quang mà bạn donh không sử dụng iodide. Bác sĩ có thể đánh giá mức độ lan rộng của loét di căn đến các cơ quan khác của cơ thể.
</think>
Bác sĩ sẽ chỉ định đến khoa Nội khoa hoặc khoa Phổi để thăm khám.

Framework versions

• PEFT 0.14.0
• TRL: 0.19.1
• Transformers: 4.51.3
• Pytorch: 2.7.0
• Datasets: 3.6.0
• Tokenizers: 0.21.1

Citations

Cite TRL as:

@misc{vonwerra2022trl,
    title        = {{TRL: Transformer Reinforcement Learning}},
    author       = {Leandro von Werra and Younes Belkada and Lewis Tunstall and Edward Beeching and Tristan Thrush and Nathan Lambert and Shengyi Huang and Kashif Rasul and Quentin Gallou{\'e}dec},
    year         = 2020,
    journal      = {GitHub repository},
    publisher    = {GitHub},
    howpublished = {\url{https://github.com/huggingface/trl}}
}