Swift blev født i Fort Laramie, Wyoming, som søn af generalmajor Eben Swift og Susan Palmer. Han dimitterede fra West Point i 1904 og blev indsat i kavaleriet. Han tjente som aide-de-camp til General John J. Pershing i
Filippinerne og derefter tjente i Mexico. Som første løjtnant kommanderende C Troop, 13th Cavalry, ledsagede han første løjtnant George S. Patton på jagten på Julio Cardenas, kommandør af Pancho Villas personlige livvagt. Under Første Verdenskrig tjente han som assisterende stabschef for 86. division.