I 1857 modsatte Graham sig Lord Palmerstons kanonbåddiplomati, da de bombarderede Canton, efter at de kinesiske myndigheder havde beslaglagt Lorcha "Arrow"
" På trods af den upopulære beslutning blev han genvalgt ved valget i Carlisle. Men Peelite-partiet var blevet slået, og det var ikke længere. Han stillede op til Carlisle igen i 1859, hvor han med sin nevø deres fælles valg gik imod den generelle tendens og returnerede to liberale kandidater. Senere samme år mødtes en gruppe på 280 ligesindede medlemmer, deriblandt Graham og Lawson, i Willis's Rooms for at danne det liberale parti. Et topartssystem var vendt tilbage til britisk politik.