Floyds barndom blev tilbragt på familiens plantage, Fairfield, i Camden County. Da han modnet, fulgte han i sin fars fodspor, der tjener som kaptajn for Georgien tropper i
Anden Seminolekrig og indtræde i den offentlige tjeneste som sherif i amtet. Efter Anden Seminolekrig flyttede Floyd til St. Augustine, Florida og blev ansat som tegner, før han gik videre til at styre en plantage i St. John's County, Florida.