Ord lahir di Cumberland, Maryland, putra James dan Rebecca Ord. Tradisi keluarga membuat James Ord anak haram dari George IV dari Inggris dan Maria Fitzherbert tetapi ia tampaknya kemungkinan telah menjadi putra Ralph Ord, yang dibaptis di Wapping, Middlesex, pada tahun 1757, putra John Ord, seorang faktor (agen) dari Berwick-upon-Tweed. Edward Ord dianggap jenius matematika dan ditunjuk ke Akademi Militer Amerika Serikat oleh Presiden Andrew Jackson. Teman sekamarnya di West Point adalah jenderal masa depan William Tecumseh Sherman. Dia lulus pada tahun 1839 dan ditugaskan sebagai letnan kedua di Artileri AS ke-3. Dia berperang dalam Perang Seminole Kedua
di Florida dan dipromosikan menjadi Letnan Pertama.