Johan Thomas Culmsee etablerede en vand- og dampdrevet [[Havreholm Papirfabrik|papirfabrik]] på stedet i 1842. Hans søn Frederik L. Culmsee overtog senere fabrikken. Forfatteren og maleren [[Holger Drachmann]], en ven af hans søn Valdemar, besøgte huset i 1866.<ref name=HHL/> Han fik et forhold til Valdemars datter Polly og giftede sig senere med hendes søster Emmy. [[Emmy Drachmann]]s roman "Inger" fra 1910 er en fiktiv fremstilling af deres ægteskab, som hun også har beskrevet i sin erindringsbog.<ref>{{cite web|url=https://biografiskleksikon.lex.dk/Emmy_Drachmann|title=Emmy Drachmann|language=|publisher=Gyldendal|access-date=2014-12-09}}</ref>
Bygninger,_konstruktioner_og_anlæg