Gibbons blev født i Newark, New Jersey, og voksede op i Belleville, New Jersey. Han dimitterede fra Saint Benedict's Preparatory School i 1942. Han tjente i United States Navy fra 1943 til 1946. Gibbons dimitterede fra College of the Holy Cross i 1947 med en Bachelor of Science grad og fra Harvard Law School i 1950 med en Bachelor of Laws. Efter eksamen, Gibbons sluttede sig til firmaet Crummy & Consodine. Efter flere år i firmaet blev han udnævnt til partner, og firmaets navn blev ændret til Crummy, Consodine & Gibbons. I 1967 blev Gibbons præsident for New Jersey State Bar Association, og også medlem af guvernørens kommission for civile uroligheder. Dette var i løbet af den tid af
Newark optøjer, der efterlod 23 mennesker døde og mere end 1.500 anholdt. Firmaet reagerede ved at sende biler fulde af advokater til retsbygningerne for at fremskynde behandlingen af kautionsansøgninger og mindske fængslets overfyldning. Firmaet repræsenterede mange af de anklagede på pro bono basis.