Bygningen blev opført for grosserer Joseph Nathan David (1758–1839) efter tegninger af [[C.F. Hansen (arkitekt)|C.F. Hansen]] i 1809. Det var den første bygning, C.F. Hansen fuldførte, efter at han flyttede fra [[Slesvig-Holsten]] til København. De to enetages sidefløje blev tilføjet i 1858.<ref>{{cite web|url=https://www.kulturarv.dk/fbb/sagvis.pub?sag=3757789|title=FrederSaf: Søholm|language=dansk|publisher=Kulturstyrelsen|access-date=26. januar 2015}}</ref> Bygningen blev restaureret af Gotfred Tvede i 1912-1915. Den blev senere benyttet som plejehjem. I 1982 blev den erhvervet af Arkitekternes Pensionskasse og genskabt.
Historie Foreninger Organisationer