O'Brien blev født i Jersey City, New Jersey, den 7. marts 1879. Han gik på Jersey City Public Schools, Academy of St. Aloysius Grammar School og Saint Peter's College. Han er uddannet fra Fordham University. Han studerede jura på New York Law School, blev optaget i advokatsamfundet og begyndte at praktisere i Jersey City. Han var dommer i den anden strafferet, og var direktør for den offentlige sikkerhed i Jersey City fra 1917 til 1921. Han var delegeret til
1920 Demokratisk National Convention.