Napišite nadaljevanje za ta odstavek - Davidson se je rodil v okrožju Fairfax v Virginiji. Bil je sin Williama B. Davidsona, artilerjskega častnika v ameriški vojski, in bivše Elizabeth Chapman Hunter. Bil je najstarejši od štirih sinov; njegovi bratje so bili Hunter, Roger in Charles. Njegov oče je umrl zaradi bolezni, ko je služil na Floridi med drugo vojno.
Leta 1840. Njegova mati je umrla deset let kasneje, kmalu po tem, ko se je ponovno poročila.