Davidson blev født i Fairfax County, Virginia. Han var søn af William B. Davidson, en artilleri officer i den amerikanske hær, og den tidligere Elizabeth Chapman Hunter. Han var den ældste af fire sønner; hans brødre var Hunter, Roger og Charles. Hans far døde af sygdom mens han tjente i Florida under
Anden Seminolekrig i 1840. Hans mor døde ti år senere, kort efter at hun havde giftet sig igen.