Ord blev født i Cumberland, Maryland, søn af James og Rebecca Ord. Familietradition gjorde James Ord til den uægte søn af George IV af Det Forenede Kongerige og Maria Fitzherbert, men han synes sandsynligvis at have været søn af Ralph Ord, der blev døbt i Wapping, Middlesex, i 1757, søn af John Ord, en faktor (agent) fra Berwick-upon-Tweed. Edward Ord blev anset for et matematisk geni og blev udnævnt til United States Military Academy af præsident Andrew Jackson. Hans værelseskammerat på West Point var den fremtidige general William Tecumseh Sherman. Han dimitterede i 1839 og blev udnævnt til andenløjtnant i det 3. amerikanske artilleri. Han kæmpede i
Anden Seminole krig i Florida og blev forfremmet til første løjtnant.