Fritz Zwicky blev født i Varna, Bulgarien, til en schweizisk far. Hans far, Fridolin (født 1868), var en fremtrædende industrimand fra den bulgarske by Varna og også tjente som ambassadør for Norge i Varna (1908<unk>1933). Zwicky House i Varna blev designet og bygget af Fridolin Zwicky. Fritz mor, Franziska Vrček (født 1871), var en etnisk tjekkisk af det østrig-ungarske imperium. Fritz var den ældste af Zwicky familieens tre børn: han havde en yngre bror ved navn Rudolf og en søster, Leonie. Fritz mor døde i Varna i 1927, og hans far forblev i handel indtil 1945, da han vendte tilbage til Schweiz. Hans søster, Leonie giftede en bulgarske jettech observatorium fra Varna og tilbragte også sin tidligste uddannelse i den bulgarske by (1908<unk>1933).
Schweiz