wav2vec2-large-xlsr-facebook-300m-texts-exp-1-v3

This model is a fine-tuned version of facebook/wav2vec2-xls-r-300m on an unknown dataset. It achieves the following results on the evaluation set:

• Loss: 0.3111
• Wer: 0.2054
• Cer: 0.1256
• Per: 0.1438

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 3e-05
• train_batch_size: 16
• eval_batch_size: 8
• seed: 42
• gradient_accumulation_steps: 2
• total_train_batch_size: 32
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 200
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Wer	Cer	Per
30.7141	1.0	64	6.0700	1.0	0.9669	0.9490
9.8106	2.0	128	4.5365	1.0	0.9669	0.9490
9.8106	3.0	192	3.7057	1.0	0.9669	0.9490
4.1821	4.0	256	3.3083	1.0	0.9669	0.9490
3.3067	5.0	320	3.1071	1.0	0.9669	0.9490
3.3067	6.0	384	2.9889	1.0	0.9669	0.9490
3.0307	7.0	448	3.0288	1.0	0.9669	0.9490
2.9507	8.0	512	2.9394	1.0	0.9669	0.9490
2.9507	9.0	576	2.9221	1.0	0.9669	0.9490
2.9206	10.0	640	2.9265	1.0	0.9669	0.9490
2.9075	11.0	704	2.9086	1.0	0.9669	0.9490
2.9075	12.0	768	2.9013	1.0	0.9669	0.9490
2.8921	13.0	832	2.7855	1.0	0.9669	0.9490
2.8921	14.0	896	2.6278	0.9995	0.9575	0.9369
2.7616	15.0	960	2.2683	1.0	0.7442	0.6858
2.4093	16.0	1024	1.6545	0.9996	0.5047	0.4283
2.4093	17.0	1088	1.2827	0.9845	0.4038	0.3398
1.662	18.0	1152	1.0526	0.7691	0.3065	0.2964
1.1907	19.0	1216	0.8960	0.6197	0.2625	0.2762
1.1907	20.0	1280	0.8227	0.5743	0.2435	0.2584
0.937	21.0	1344	0.7483	0.5200	0.2269	0.2415
0.7646	22.0	1408	0.6610	0.4629	0.2072	0.2237
0.7646	23.0	1472	0.6110	0.4319	0.1960	0.2122
0.6454	24.0	1536	0.5567	0.3943	0.1836	0.2023
0.5484	25.0	1600	0.5099	0.3621	0.1724	0.1901
0.5484	26.0	1664	0.4765	0.3452	0.1675	0.1860
0.4782	27.0	1728	0.4610	0.3262	0.1634	0.1808
0.4782	28.0	1792	0.4397	0.3230	0.1596	0.1761
0.4136	29.0	1856	0.4399	0.2983	0.1563	0.1738
0.3701	30.0	1920	0.4074	0.2946	0.1522	0.1700
0.3701	31.0	1984	0.3943	0.2950	0.1497	0.1661
0.3285	32.0	2048	0.3919	0.2870	0.1482	0.1659
0.3313	33.0	2112	0.3668	0.2760	0.1449	0.1619
0.3313	34.0	2176	0.3656	0.2769	0.1433	0.1593
0.2808	35.0	2240	0.3716	0.2627	0.1427	0.1603
0.259	36.0	2304	0.3685	0.2523	0.1403	0.1584
0.259	37.0	2368	0.3401	0.2497	0.1378	0.1552
0.2561	38.0	2432	0.3509	0.2494	0.1386	0.1558
0.2561	39.0	2496	0.3486	0.2393	0.1361	0.1541
0.2457	40.0	2560	0.3513	0.2396	0.1366	0.1541
0.2291	41.0	2624	0.3400	0.2325	0.1345	0.1524
0.2291	42.0	2688	0.3312	0.2341	0.1346	0.1515
0.2023	43.0	2752	0.3463	0.2341	0.1351	0.1527
0.2108	44.0	2816	0.3328	0.2302	0.1328	0.1502
0.2108	45.0	2880	0.3300	0.2294	0.1338	0.1516
0.1989	46.0	2944	0.3178	0.2243	0.1318	0.1496
0.1798	47.0	3008	0.3283	0.2319	0.1332	0.1506
0.1798	48.0	3072	0.3262	0.2237	0.1313	0.1487
0.1717	49.0	3136	0.3253	0.2244	0.1317	0.1486
0.1655	50.0	3200	0.3451	0.2214	0.1319	0.1494
0.1655	51.0	3264	0.3346	0.2188	0.1305	0.1483
0.1634	52.0	3328	0.3453	0.2192	0.1305	0.1486
0.1634	53.0	3392	0.3242	0.2176	0.1294	0.1474
0.1529	54.0	3456	0.3405	0.2161	0.1307	0.1483
0.1516	55.0	3520	0.3347	0.2139	0.1291	0.1470
0.1516	56.0	3584	0.3403	0.2137	0.1283	0.1460
0.1371	57.0	3648	0.3159	0.2148	0.1280	0.1456
0.1391	58.0	3712	0.3213	0.2068	0.1272	0.1455
0.1391	59.0	3776	0.3230	0.2081	0.1281	0.1466
0.1294	60.0	3840	0.3207	0.2084	0.1274	0.1456
0.1307	61.0	3904	0.3214	0.2104	0.1277	0.1462
0.1307	62.0	3968	0.3111	0.2054	0.1256	0.1438
0.1187	63.0	4032	0.3153	0.2090	0.1264	0.1439
0.1187	64.0	4096	0.3141	0.2064	0.1259	0.1430
0.1308	65.0	4160	0.3231	0.2048	0.1257	0.1443
0.1274	66.0	4224	0.3157	0.2035	0.1250	0.1433
0.1274	67.0	4288	0.3136	0.2060	0.1255	0.1438
0.1112	68.0	4352	0.3281	0.2071	0.1257	0.1437
0.1146	69.0	4416	0.3147	0.2053	0.1252	0.1426
0.1146	70.0	4480	0.3241	0.2053	0.1255	0.1441
0.1119	71.0	4544	0.3152	0.2038	0.1252	0.1435
0.1033	72.0	4608	0.3242	0.2017	0.1254	0.1437
0.1033	73.0	4672	0.3191	0.2048	0.1254	0.1439
0.1016	74.0	4736	0.3330	0.2027	0.1255	0.1438
0.1059	75.0	4800	0.3180	0.2050	0.1259	0.1437
0.1059	76.0	4864	0.3239	0.2024	0.1259	0.1445
0.0983	77.0	4928	0.3301	0.2051	0.1259	0.1445

Framework versions

• Transformers 4.28.0
• Pytorch 2.6.0+cu124
• Datasets 4.0.0
• Tokenizers 0.13.3