wav2vec2-large-xlsr-coraa-texts-exp-1-v3

This model is a fine-tuned version of Edresson/wav2vec2-large-xlsr-coraa-portuguese on an unknown dataset. It achieves the following results on the evaluation set:

• Loss: 0.2612
• Wer: 0.1920
• Cer: 0.1209
• Per: 0.1386

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 3e-05
• train_batch_size: 16
• eval_batch_size: 8
• seed: 42
• gradient_accumulation_steps: 2
• total_train_batch_size: 32
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 200
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Wer	Cer	Per
29.9173	1.0	64	3.4372	1.0	0.9669	0.9490
7.1511	2.0	128	3.0298	1.0	0.9669	0.9490
7.1511	3.0	192	2.9385	1.0	0.9669	0.9490
3.0029	4.0	256	2.9505	1.0	0.9669	0.9490
2.9169	5.0	320	2.8955	1.0	0.9669	0.9490
2.9169	6.0	384	2.8681	1.0	0.9669	0.9490
2.8818	7.0	448	2.1555	1.0	0.7629	0.7059
2.1487	8.0	512	0.8081	0.4288	0.1919	0.2164
2.1487	9.0	576	0.5512	0.3266	0.1602	0.1785
0.8209	10.0	640	0.4579	0.2946	0.1501	0.1691
0.504	11.0	704	0.4125	0.2797	0.1466	0.1655
0.504	12.0	768	0.3942	0.2604	0.1417	0.1605
0.4042	13.0	832	0.3634	0.2412	0.1368	0.1541
0.4042	14.0	896	0.3489	0.2338	0.1353	0.1529
0.332	15.0	960	0.3247	0.2259	0.1327	0.1500
0.2949	16.0	1024	0.3271	0.2228	0.1331	0.1509
0.2949	17.0	1088	0.3043	0.2184	0.1299	0.1477
0.2582	18.0	1152	0.2979	0.2222	0.1296	0.1466
0.2417	19.0	1216	0.2916	0.2166	0.1291	0.1475
0.2417	20.0	1280	0.2935	0.2128	0.1279	0.1462
0.2203	21.0	1344	0.2849	0.2070	0.1266	0.1451
0.2086	22.0	1408	0.2871	0.2123	0.1279	0.1456
0.2086	23.0	1472	0.2821	0.2048	0.1261	0.1444
0.1967	24.0	1536	0.2822	0.2073	0.1268	0.1446
0.1826	25.0	1600	0.2704	0.2065	0.1257	0.1429
0.1826	26.0	1664	0.2753	0.2033	0.1258	0.1437
0.1743	27.0	1728	0.2784	0.2043	0.1258	0.1442
0.1743	28.0	1792	0.2768	0.2037	0.1254	0.1432
0.1661	29.0	1856	0.2729	0.2001	0.1245	0.1426
0.1589	30.0	1920	0.2682	0.2017	0.1247	0.1425
0.1589	31.0	1984	0.2680	0.2046	0.1246	0.1423
0.1484	32.0	2048	0.2731	0.1991	0.1236	0.1418
0.1617	33.0	2112	0.2658	0.1973	0.1232	0.1418
0.1617	34.0	2176	0.2642	0.1953	0.1232	0.1411
0.1399	35.0	2240	0.2663	0.1986	0.1231	0.1406
0.1396	36.0	2304	0.2797	0.1998	0.1243	0.1423
0.1396	37.0	2368	0.2698	0.1986	0.1235	0.1406
0.1387	38.0	2432	0.2665	0.1975	0.1238	0.1418
0.1387	39.0	2496	0.2659	0.1969	0.1225	0.1406
0.1404	40.0	2560	0.2719	0.1974	0.1230	0.1408
0.1378	41.0	2624	0.2692	0.1937	0.1228	0.1408
0.1378	42.0	2688	0.2655	0.1955	0.1225	0.1400
0.1205	43.0	2752	0.2674	0.1983	0.1233	0.1414
0.1425	44.0	2816	0.2681	0.1945	0.1232	0.1416
0.1425	45.0	2880	0.2703	0.1969	0.1234	0.1420
0.128	46.0	2944	0.2722	0.1956	0.1229	0.1409
0.1169	47.0	3008	0.2640	0.1943	0.1223	0.1407
0.1169	48.0	3072	0.2674	0.1957	0.1230	0.1413
0.109	49.0	3136	0.2676	0.1957	0.1224	0.1403
0.1069	50.0	3200	0.2702	0.1932	0.1221	0.1403
0.1069	51.0	3264	0.2716	0.1928	0.1219	0.1401
0.1083	52.0	3328	0.2623	0.1923	0.1219	0.1400
0.1083	53.0	3392	0.2728	0.1941	0.1217	0.1395
0.1123	54.0	3456	0.2671	0.1963	0.1219	0.1401
0.1158	55.0	3520	0.2688	0.1895	0.1207	0.1393
0.1158	56.0	3584	0.2681	0.1945	0.1226	0.1405
0.1028	57.0	3648	0.2701	0.1960	0.1227	0.1413
0.1017	58.0	3712	0.2647	0.1932	0.1216	0.1397
0.1017	59.0	3776	0.2672	0.1949	0.1221	0.1397
0.0946	60.0	3840	0.2700	0.1926	0.1219	0.1404
0.1014	61.0	3904	0.2657	0.1927	0.1217	0.1400
0.1014	62.0	3968	0.2612	0.1920	0.1209	0.1386
0.088	63.0	4032	0.2622	0.1936	0.1213	0.1391
0.088	64.0	4096	0.2695	0.1936	0.1211	0.1389
0.0987	65.0	4160	0.2699	0.1934	0.1217	0.1402
0.0982	66.0	4224	0.2654	0.1939	0.1225	0.1402
0.0982	67.0	4288	0.2758	0.1928	0.1217	0.1400
0.0884	68.0	4352	0.2755	0.1919	0.1220	0.1401
0.0938	69.0	4416	0.2675	0.1928	0.1217	0.1395
0.0938	70.0	4480	0.2673	0.1919	0.1210	0.1394
0.0917	71.0	4544	0.2670	0.1898	0.1210	0.1392
0.0832	72.0	4608	0.2749	0.1919	0.1219	0.1404
0.0832	73.0	4672	0.2753	0.1915	0.1214	0.1396
0.0802	74.0	4736	0.2812	0.1913	0.1215	0.1398
0.0836	75.0	4800	0.2883	0.1933	0.1217	0.1399
0.0836	76.0	4864	0.2809	0.1909	0.1211	0.1396
0.0803	77.0	4928	0.2828	0.1921	0.1208	0.1388
0.0803	78.0	4992	0.2785	0.1927	0.1215	0.1394
0.0816	79.0	5056	0.2734	0.1947	0.1209	0.1390
0.0808	80.0	5120	0.2880	0.1941	0.1222	0.1403
0.0808	81.0	5184	0.2812	0.1895	0.1208	0.1394
0.0834	82.0	5248	0.2814	0.1897	0.1208	0.1394

Framework versions

• Transformers 4.28.0
• Pytorch 2.6.0+cu124
• Datasets 3.6.0
• Tokenizers 0.13.3