Der menes, at det blev ødelagt af bønderne under [[Grevens Fejde]] og så måske genopbygget. 
Under [[Trediveårskrigen]] ([[kejserkrigen]]) i [[1625]]-[[1627]] rapporteres det nedbrændt af [[Albrecht von Wallenstein]]s tropper sammen med [[Hønborg Ladegaard]], som lå længere væk fra slottet. Sidstnævnte blev dog genopbygget kort efter. 
Lensmændene over Hønborg len boede på slottet
{{Kortpositioner
 |Danmark2
 |label=Høneborg
 |billedtekst = Høneborgs (Hønborg) beliggenhed
 |bredde_grad=55|bredde_min=31
 |længde_grad=9|længde_min=39
 |position=right
 |marksize=4
 |width=200
 |float=right
}}
Fra Høneborg slot gik en vej til kirken i [[Taulov]], som kaldtes "Fruens Kirkevej", ad hvilken almuen siger, at fruen i sin 4-hestes vogn hver juleaften kørte til kirken.
Historie Bygninger,_konstruktioner_og_anlæg