Setelah karirnya yang tidak menonjol di Roma sebagai seorang ahli hukum dan orator, ia memasuki militer. Kampanye pertamanya yang tercatat adalah di bawah Quintus Servilius Caepio dan berakhir pada Pertempuran Arausio pada tahun 105 SM, di mana ia menunjukkan keberanian yang tidak biasa. Melayani di bawah Gaius Marius, Sertorius berhasil memata-matai suku-suku Jerman yang mengembara yang telah mengalahkan Caepio. Setelah keberhasilan ini, ia hampir pasti bertempur di Pertempuran besar Aquae Sextiae
(sekarang Aix-en-Provence, Prancis) pada tahun 102 SM di mana Teuton dan Ambrone dikalahkan secara tegas. Dia mungkin juga bertempur di Pertempuran Vercellae pada tahun 101 SM, di mana Cimbri dikalahkan dengan tegas, mengakhiri invasi Jerman. Beberapa tahun setelah perang Cimbric, pelindung Sertorius, Gaius Marius jatuh dari rahmat karena dukungannya terhadap demagog Lucius Appuleius Saturninus dan dia dan Sertorius harus keluar dari Roma untuk sementara waktu. Sertorius melakukan perjalanan ke Hispania Ulterior dan melayani gubernurnya, Titus Didius, sebagai tribun militer. Dia membedakan dirinya dengan menekan pemberontakan di dan sekitar Castulo dan dianugerahi Grass Crown.