Høgh-Guldberg voksede op i København hos velhavende, velforbundne forældre. I 1792 blev han andenløjtnant i den danske hær, i 1794 førsteløjtnant i 1. I 1798 blev han kaptajn, i 1803 stabschef, og i 1806 fik han sit eget kompagni. Han tjente under de engelske krige
Den 28. januar 1809 blev han tildelt Dannebrog-ordenen og blev samme år forfremmet til major og gjort til bataljonschef. I 1816 blev han forfremmet til oberstløjtnant, og i 1823 blev han forfremmet til oberst og flyttet til Aarhus for at tage ansvar for styrkerne der. 9 år senere trak han sig tilbage fra hæren, men forblev i Aarhus.