Dehn forblev hele livet ungkarl, og da han i [[1762]] blev udnævnt til kgl. statholder i hertugdømmerne, forlod han palæet, som han fire år senere afhændede til grev [[Ditlev Reventlow (1712-1783)|Ditlev Reventlow]]. Det forblev i Reventlowslægtens eje, indtil det ca. 30 år efter, i 1794, blev erhvervet af hertug [[Frederik Christian 2. af Slesvig-Holsten-Sønderborg-Augustenborg|Frederik Christian 2. af Augustenborg]], der flyttede ind med sin hustru [[Louise Augusta af Danmark|Louisa Augusta]] – datter af dronning [[Caroline Mathilde]] og (uofficielt) [[livlæge]]n [[Johann Friedrich Struensee]]. Her blev parrets tre børn født, blandt dem den senere dronning Caroline Amalie.
Bygninger,_konstruktioner_og_anlæg