Izpolnite naslednji stavek: Takoj po vojni se je vrnil v Palestino. Po ustanovitvi izraelske države se je boril v arabsko-izraelski vojni leta 1948, kjer je služil kot častnik v
bitke za Latrun. Njegova obveščevalna izkušnja med drugo svetovno vojno je bila videti kot dragoceno sredstvo in kasneje je postal vodja vojaške obveščevalne veje IDF, na katerem je služil od leta 1948 do 1950 in ponovno od leta 1959 do 1962. Od leta 1950 do 1954 je služil kot obrambni ataše pri izraelskem veleposlaništvu v Združenih državah Amerike. Herzog je zapustil Washington septembra 1954. Uradnik zunanjega ministrstva ga je obvestil, da bo razglašen za "persona non grata". Odločitev, da ga izključijo, je bila sprejeta po preiskavi FBI-ja o njegovem poskusu, da zaposli jordanskega diplomata. Leta 1962 se je upokojil iz IDF z činom generala.