Handler blev født i San Francisco, Californien, som søn af Sandra Handler (født Walpole) en pensioneret City College of San Francisco Dean, og Louis Handler, en revisor. Hans far var en jødisk flygtning fra Tyskland, og han er fjernt beslægtet med den britiske forfatter Hugh Walpole gennem sin mor. Han har en yngre søster, Rebecca Handler. Handler har været en grådig læser siden barndommen, og hans yndlings forfatter var William Keepers Maxwell, Jr. Han deltog Commodore Sloat Elementary, Herbert Hoover Middle School, og Lowell High School. Han dimitterede fra Wesleyan University i 1992. Han blev tildelt 1992 Student Poet Connecticut Prize, som han hævder blev tjent ved at snyde Elizabeth Bishop. Han er en alumnus af San Francisco Boys Chorus.
regnskabsfører