Thielmann blev født i Dresden. Han gik ind i det saksiske kavaleri i 1782.
Rhine-kampagner og tjente på den prussianske side i Jena-kampagnen. Efter Jena-katastrofen blev Thielmann sendt af Sachsen som ambassadør til Napoleon I, blev hans ivrige beundrer og gjorde meget for at skabe den fransk-saksiske alliance. Thielmann ledsagede den saksiske kontingent, der kæmpede ved belejringen af Danzig og ved Friedland.