Belknap blev født i Newport, New Hampshire, og blev udnævnt til midshipman i 1847. Han kommanderede overvågningen under angrebene på
Slaget ved Fort Fisher, og sloop-of-krig under Formosa Expedition i 1867. Han var den øverste officer til stede under optøjerne efter David Kalākaua's valg som konge af Hawaii i 1874.