Vikhrmodels/Borealis

Borealis

Описание

Borealis - это наша первая audio llm c ASR для русского языка. В этом репозитории представлен чекпоинт, который видел примерно 7000 часов аудио на русском языке. Важным отличием от других моделей является то, что тут есть поддержка пунктуации в распознанных аудио. Архитектура во многом вдохновлена Voxtral, но отличается в некоторых моментах.

Использование

from transformers import AutoModelForCausalLM, AutoTokenizer, AutoFeatureExtractor
import torch
import librosa

model = AutoModelForCausalLM.from_pretrained("Vikhrmodels/Borealis", trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained("Vikhrmodels/Borealis")
extractor = AutoFeatureExtractor.from_pretrained("Vikhrmodels/Borealis")

generation_params = {
        "max_new_tokens": 350,
        "do_sample": True,
        "top_p": 0.9,
        "top_k": 50,
        "temperature": 0.2,
 }

model.eval()
model.to("cuda")

waveform, sr = librosa.load("path/to/your/audio.wav", sr=16_000)

proc = extractor(
        waveform,
        sampling_rate=sr,
        padding="max_length",
        max_length=480_000,
        return_attention_mask=True,
        return_tensors="pt",
    )

mel = proc.input_features.squeeze(0).to("cuda")
att_mask = proc.attention_mask.squeeze(0).to("cuda")

with torch.inference_mode():
    transcript = model.generate(mel=mel, att_mask=att_mask, **generation_params)

print(transcript)

Метрики модели

Ниже представлены замеры Borealis на фоне остальных открытых моделей, который поддерживают русский язык. Бенчмарк мы скоро выложим в открытый доступ

Модель	Средний WER	RuLS	CV 22.0	Books	Speak	Sova
Borealis	6.33%	6.39%	2.67%	5.28%	1.95%	15.37%
GigaAM-ASR-V2-RNNT	5.85%	5.24%	2.85%	8.06%	3.08%	10.01%
openai/whisper-large-v3	10.74%	11.62%	7.51%	12.19%	2.74%	19.65%
bond005/whisper-podlodka-turbo	9.38%	11.91%	6.36%	8.96%	3.14%	16.55%
openai/whisper-large-v3-turbo	11.30%	11.88%	8.17%	13.29%	2.80%	20.37%
bond005/whisper-large-v3-ru-podlodka	10.76%	10.24%	7.80%	10.31%	3.23%	22.21%
nvidia/canary-1b-v2	13.52%	20.16%	9.12%	11.45%	4.97%	21.89%
VOSK-model-ru-0.42	11.30%	12.06%	11.87%	10.80%	2.61%	19.15%
GigaAM-ASR-V2-CTC	6.45%	5.26%	3.42%	7.72%	3.01%	12.86%

Авторы

• Илья Кулешов, Vikhr Team
• Александр Николич, Vikhr Team