Ballard je vstopil v mornarico decembra 1776, pod pokroviteljstvom kapitana John Leveson-Gowerja, sina Johna Leveson-Gowerja, 1. grofa Gowerja, ki je bil takrat kapitan ladje, ki je bila v poletju 1778 del flote pod poveljstvom admirala Keppla. Oktobra 1779 je bil premeščen na kapitana Marka Robinsona in je bil navzoč, ko je Sir George Rodney 16. januarja 1780 premagal špansko floto pri Cape St. Vincent. Naslednjega julija se je "Shrewsbury" pridružil Rodneyjevi floti v Zahodni Indiji.
29. aprila 1781 pred Martiniqueom, 5. septembra 1781 pa je vodil van v akciji pred Chesapeakeom. Med bitko je glavna bremena padla na "Shrewsbury", ki je imela štirinajst mrtvih in petdeset dva ranjenega, vključno s kapitanom Robinsonom, ki je izgubil nogo. Ladja se je nato vrnila v Zahodno Indijo s sirom Samuelom Hoodom in bila z njim v operacijah na St. Kittsu januarja 1782, po kateri je morala biti poslana na Jamajko na popravilo. 10. februarja 1783, ko je bil še vedno na Jamajki, ga je admiral Rowley imenoval za petega poročnika in je bil aktivno zaposlen na različnih ladjah v desetih letih miru. Ko je ponovno izbruhnila vojna, je bil prvi poročnik mornarice, ki je v zadnjih dneh maja in 1. junija 1794 nosila zastavo kontradmirala Alana Gardnerja. V bitki na slavnem prvem juniju je Ballard 5. julija 1794 dobil čin poveljnika, 1. avgusta 1795 pa je bil napredoval v čin postkapitana.