William C. McElroy (? <unk> 1869) og hans ægtefælle Harriet Shober (1816 <unk> 1899) købte grunden på Gough Street i 1859. McElroy var træmøller af erhverv og han byggede huset mellem 1860 og 1861, på tværs af gaden fra sin nuværende placering. Oprindeligt var huset designet med to etager, med fire værelser på hver etage, og med en snoet trappe i midten af bygningen. Familien McElroy boede i huset indtil omkring 1880'erne, da huset blev en udlejningsejendom. Daniel O'Connell, medstifter af Bohemian Club, var en af lejere. I april 1906 blev huset alvorligt beskadiget under
Jordskælvet i 1906. I 1909 var huset ikke længere ejet af familien McElroy, og det skiftede ejerskab mange gange.