Allen trådte tilbage den 2. maj 1953 og Jack Butler, en tidligere Arsenal-spiller, blev udnævnt til hans erstatning. Butler havde været træner i Belgien og havde været ansvarlig for det belgiske landshold mellem 1935 og 1940, hvilket førte dem til 1938 FIFA World Cup
Finalen. Han trådte tilbage i januar 1955 og bestyrelsen valgte Benny Fenton til at være spiller-manager. Han tilbragte otte år med klubben, hvor han for første gang i klubbens historie blev nedkæmpet i 1961, kun for at vende tilbage til tredje division ved første forsøg. Fenton overtog stillingen i Orient i november 1963.