Duffs næste skib var 50-kanonerne, som han sluttede sig til i 1755. Han tilbragte flere år på krydstogt, enten selvstændigt eller som en del af hovedflåden, og i 1758 var han en del af kommodore Richard Howes eskadrille, der forsvarede ekspeditionerne mod St Malo,
Cherbourg og St. Cas. Han blev øverste officer i en lille eskadrille stationeret ud for Bretagne i 1759, hvor han overvågede den franske flåde i Morbihan, mens en flåde under Edward Hawke blokerede Brest i Frankrig. Mens han var forankret i Quiberon Bay den 20. november, rapporterede hans spejdere om en stor fransk flåde syd for Belle Île. Duff skyndte sig med sin eskadrille, der bestod af fire 50-kanonskibe og fire fregatter, ud på havet, mens franskmændene jagtede dem. Før de kunne fanges, kom hovedflåden under Hawke frem og overfaldt franskmændene og besejrede dem i det afgørende slag ved Quiberonbugten.