Skriv en fortsættelse til dette afsnit - Han havde tilsyneladende et ubehageligt forhold til de koloniale myndigheder, og indvilligede i at leje græsningsland fra Xhosa-lederen Hintsa. I 1829 sendte Ludvig sin søn Carolus ud for at græse deres kvæg langs Black Kei-floden, der dengang var den nordlige grænse af det britiske Kaffraria. I 1833 (eller 34) krydsede Ludvig også den neutrale zone for at slutte sig til sin søn. Her levede et betydeligt boer-samfund, som var i strid med den koloniale regering, allerede i eksil. Da Louis var deres leder, betragtede oberst Harry Smith ham som en agitator i den sjette Xhosa-krig.
Og planlagde at anholde ham. Tregardt flyttede imidlertid sin familie og sit husdyr til græsning mellem Caledon- og Orange-floderne, lige uden for kolonien, hvor han boede i 1835.