app.py

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "ibm-granite/granite-7b-instruct"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, device_map="auto")

# Codice per eseguire inferenze con il modello