I 1737 blev De La Warr udnævnt til guvernør i New York og New Jersey. Men han rejste aldrig til Amerika. Han fortsatte sin militære karriere, mens han var aktiv i House of Lords og kæmpede i slaget ved Dettingen
I 1743 under den østrigske arvefølgekrig. Den 30. august 1737 blev han udnævnt til oberst i 1. Troop of Horse Guards, en udnævnelse han holdt indtil sin død. Han blev brigadegeneral i 1743, generalmajor i 1745, generalløjtnant i 1747 og general for hesten i 1765. I 1752 blev han udnævnt til guvernør af Guernsey, en stilling han holdt indtil sin død. I 1761 udnævnte George III ham til Viscount Cantalupe og Earl De La Warr.