Efter Dominga Athertons død i 1890 blev palæet solgt til Edgar Mills, bror til Darius Ogden Mills fra Bank of California, og i 1900 blev det omnummereret fra 1950 til 1990 California St. I 1908 blev det købt af George Chauncey Boardman, en ejendomsmagnat og præsident for San Francisco Fire Insurance, hvis hus var blevet ødelagt i
1906 jordskælv og brand. Hans enke og andre familiemedlemmer boede der indtil 1923, da det blev købt af Charles J. Rousseau, en arkitekt, der opdelte det i 13 lejligheder. Hans enke Carrie boede der med 50 katte indtil hendes død i 1974. Det var stadig opdelt. Huset er angiveligt hjemsøgt af så mange som fire spøgelser, herunder Carrie Rousseau, og er featured på spøgelse ture. Den almindeligt citerede historie er, at det oprindelige spøgelse er George H. B. Atherton, der døde på havet i det sydlige Stillehav i 1887 og hvis lig blev sendt tilbage til San Francisco i en rum tønde, men tønden blev leveret til havnen, ikke til huset.