Harvey spillede for første gang i Fitzroy First XI i 1938-39. Mick åbnede battingen med Merv, og i 1942/43, da Neil brød ind i First XI, besatte familien de første fire battingpositioner for holdet; Merv og Mick åbnede og Ray og Neil kom ind efter dem. Under Anden Verdenskrig, Harvey indskrevet i den Anden australske Imperial Force på Fitzroy den 4. marts 1943 og var medlem af den 39. infanteribataljon og gik på at tjene i Kokoda
- Hvad? Han blev udskrevet den 29. marts 1946 med rang af menig. Han genoptog cricket med Fitzroy ved krigens afslutning og gjorde nok runs til at blive udvalgt til Victorias første tre Sheffield Shield-kampe i 1948-49 sæsonen. Han spillede som åbning batsman, gjorde 10 og 13 på debut mod Queensland, og blev fanget ben før wicket (lbw) i begge innings i en otte-wicket sejr. I den næste kamp mod New South Wales, der bragte Australiens nye bold åbning bowlers Ray Lindwall og Keith Miller, Harvey gjorde 19 og 33 i en remis match. I den efterfølgende kamp mod South Australia, gjorde han 4 og 12, igen blev fanget lbw i begge innings. Sæsonen 1948/49 var rent indenlandsk uden et turnerende Testhold, så alle Australiens internationale repræsentanter var tilgængelige for hele sæsonen. Efter at have scoret kun 91 runs med et batting gennemsnit på 15.16, blev Harvey droppet fra holdet. Han spillede ikke sammen med Ray, der blev droppet, og Merv, der var gået på pension. Det var Harveys sidste sæson for Fitzroy, og i 90 første klasses kampe scorede han 2.601 runs med et gennemsnit på 30.24.