Fuldfør følgende sætning: Han vendte straks efter krigen tilbage til Palæstina. Efter oprettelsen af staten Israel kæmpede han i den arabisk-israelske krig i 1948, hvor han tjente som officer i
Slag om Latrun. Hans efterretningserfaring under Anden Verdenskrig blev set som et værdifuldt aktiv, og han blev efterfølgende chef for IDF Military Intelligence Branch, en stilling, hvor han tjente fra 1948 til 1950 og igen fra 1959 til 1962. Fra 1950 til 1954 var han forsvarsattaché ved den israelske ambassade i USA. Herzog forlod Washington i september 1954. En embedsmand fra udenrigsministeriet havde meddelt ham, at han var ved at blive erklæret "persona non grata". Beslutningen om at udvise ham blev truffet efter en FBI-undersøgelse af hans forsøg på at rekruttere en jordansk diplomat. Han trak sig tilbage fra IDF i 1962 med rang af generalmajor.