Floyds barndom blev tilbragt på familieplantagen Fairfield i Camden County. Som han modnet, fulgte han i sin fars fodspor, der tjener som en kaptajn i Georgien tropper i den anden Seminole krig
og indtræder i den offentlige tjeneste som sherif i amtet. Efter Anden Seminolekrig flyttede Floyd til St. Augustine, Florida og blev ansat som tegner, før han gik videre til at styre en plantage i St. John's County, Florida.