Han begyndte sin karriere ved at kæmpe mod Frankrigs revolutionære hære. Tidligt i krigene i den første koalition, så han sejr ved Neerwinden i 1793, før han blev besejret ved Wattignies 1793 og Fleurus 1794. I 1796, som chef for alle østrigske styrker på Rhinen, besejrede Karl Jean-Baptiste Jourdan ved Amberg og Würzburg, og vandt derefter en sejr ved Emmendingen, der tvang Jean Victor Marie Moreau til at trække sig tilbage over Rhinen. Han besejrede også modstandere i Zürich,
Ostrach, Stockach og Messkirch i 1799. Han reformerede Østrigs hær for at indføre princippet om nation ved våben. I 1809 gik han ind i den femte koalitions krig og påførte Napoleons første store nederlag ved Aspern-Essling, før han led et nederlag i det blodige slag ved Wagram. Efter Wagram oplevede Karl ingen større aktioner i de napoleoniske krige.