Under en turné i USA i februar 1971 med den nye keyboardist Christine McVie, der nu havde sluttet sig til bandet, blev Spencer desillusioneret med sit liv i Fleetwood Mac, og har i flere interviews nævnt en hændelse, da bandet lyttede til en optagelse af en gammel koncert. Da han hørte sig selv synge, sagde han: "Det lyder forfærdeligt. Det lyder som lort". Ifølge en beretning af Mick Fleetwood havde Spencer tilsyneladende svært ved at komme sig efter en mescalin-tur han havde oplevet meget tidligt på den amerikanske turné. Kort før bandets rejse fra San Francisco til Los Angeles, oplevede LA et stort jordskælv
- Hvad? Da Spencer var i en skrøbelig mental tilstand og fyldt med stærke negative forudsigelser, var han meget bange for at skulle rejse til Los Angeles. Han bad Fleetwood om at aflyse denne del af turnéen. Kort efter at være ankommet til LA den 15. februar 1971, den dag hvor gruppen skulle optræde på Whisky A Go Go, forlod Spencer det hotelværelse han delte med Fleetwood for at besøge en boghandel på Hollywood Boulevard. Han vendte ikke tilbage, hvilket tvang aflysningen af aftenens koncert, mens bandet og medlemmer af deres entourage gik på jagt efter ham. Nogle dage senere blev han fundet at have tilsluttet sig den religiøse kult Guds Børn, og han erklærede, at han ikke længere ønskede at være involveret med Fleetwood Mac. På trods af appeller fra bandets manager, Clifford Davis, om at opfylde sine forpligtelser over for Fleetwood Mac, kunne Spencer ikke overtales til at vende tilbage til bandet, og de måtte kæmpe videre uden ham, først kalde Peter Green ud af pensionering som en nødforanstaltning, og senere rekruttere ny guitarist Bob Welch.