Colbert je zapustil Junot leta 1805 in sledil general-majorju Maréchal Berthierju kot njegov pomočnik. Pomagal je pri Austerlitz
Tam je bil ranjen in postal šef. Pogumno se je boril pri Ieni in Pułtusku. Leta 1807 je postal polkovnik in poveljnik svojega starega polka, 7. husarskega. Ta enota je bila zdaj del Lassallejeve brigade, ki so jo zaradi svoje strasti poimenovali "peklenska" brigada. Napoleon ga je leta 1808 imenoval za viteza Legije časti in leta 1809 za barona Chabanais et de l'Empire.