Han blev udnævnt til manager for det danske landshold i 1962, hvor han erstattede Arne Sørensen, der havde ført Danmark til sølvmedaljer ved Sommer-OL i 1960. Desværre for Petersen blev de fleste af 1960 sølvmedaljevinder nu udelukket fra det amatør-kun landshold for at have underskrevet professionelle kontrakter, og dansk fodbold havde ikke amatørspillere til at følge op på succesen. Han formåede at få Danmark til fjerdepladsen af fire deltagere i Europacuppen i 1964.
, efter at have slået Maltas fodboldlandshold, Albaniens fodboldlandshold og Luxembourgs fodboldlandshold i kvalifikationskampene. Poul Petersen var ansvarlig for Danmark i 47 kampe indtil november 1966, hvor han vandt 17 og tabte 22 kampe.