Charles Montagu Douglas Scott blev født som den fjerde søn af Walter Montagu Douglas Scott, 5. hertug af Buccleuch. Han blev uddannet på Radley College og sluttede sig til Royal Navy i 1853. Han var i tjeneste i Sortehavet i 1855 under Krimkrigen. Han deltog også i slaget ved Fatshan Creek i 1857 under den anden opiumkrigen.
og tjente med Naval Brigade under den indiske mytteri af 1857.