Det blev bygget i 1866 af Anson Parsons Hotaling for oprindeligt at være et hotel. Hotaling flyttede senere til whiskybranchen. Det var også en af de få bevarede bygninger efter
1906 jordskælv og brand, takket være en kilometer lang brandslange, der strakte sig gennem Fisherman's Wharf og Telegraph Hill. På grund af at bygningen blev reddet, udtalte Charles K. Field engang berømt: "Hvis Gud, som de siger, spanked byen for at være over-frisky, hvorfor brændte han så sine kirker ned og skånede Hotaling's whisky?"