Det blev bygget i 1866 af Anson Parsons Hotaling til oprindeligt at være et hotel. Hotaling flyttede senere til whiskybranchen. Det var også en af de få bygninger, der overlevede efter jordskælvet og branden i 1906
, takket være en kilometer lang brandslange, der strakte sig gennem Fisherman Wharf og Telegraph Hill. På grund af at bygningen blev reddet, udtalte Charles K. Field engang berømt: "Hvis Gud, som de siger, spanked byen for at være over-frisky, hvorfor brændte han så sine kirker ned og skånede Hotaling's whisky?"