Whitaker mødte maleren Xavier Martinez på Coppa's Restaurant i San Francisco. Da han fandt hende som et perfekt motiv, tegnede han hende og begyndte hans Elsie serie. Efter den
Efter jordskælvet i 1906 flyttede Martinez til Piemonte. Måneder senere friede han til en 18-årig pige ved navn Whitaker, der allerede havde lovet at gifte sig med mindst fire andre mænd, der var venner med hendes far. Ved at vælge Martinez, sagde hun, "Jeg besluttede at vælge den, der ville give mig det mest interessante liv". Martinez var kun to år yngre end Elsie's far, Herman Whitaker. Parret blev gift i oktober 1907.