Idlewild je v ruševinah, odkar je izgorela aprila 2003, ko so jo vandali zažgali. Idlewild je bil ponovno poškodovan zaradi manjšega požara na verandi avgusta 2006. Potres.
23. avgusta 2011 je poškodoval dimnike v glavni hiši in uničil dva dimnika v poletni kuhinji. Zidovi hiše iz opeke so bili ojačani z jeklenimi gredi in so bili po tresu praktično nepoškodovani. Glede na to, da je hiša v stabilnem stanju, obstaja veliko teorij o tem, kako je Downmanova hiša zgorela, najverjetneje vandali. Obstajajo pa tudi drugi, kot so brezdomci, ki prižgejo ogenj v najšibkejšem kaminu.