Harrison menes også at have fået seks børn med en af sine kvindelige slaver, Dilsia. Da han stillede op til præsidentembedet ville han ikke have "uægte slavebørn" omkring sig, så han gav fire af børnene til sin broder, der solgte dem til en plantageejer i Georgia. Gennem denne del af familien er Harrison oldefar til den berømte borgerrettighedsforkæmper [[Walter Francis White]]. White var præsident for NAACP fra 1931 til 1955.<ref>{{cite book|last=Janken|first=Kenneth Robert|title=Walter White: Mr. NAACP|url=https://archive.org/details/walterwhitemrnaa0000jank|year=2006|publisher=UNC Press|location=Chapel Hill|pages=[https://archive.org/details/walterwhitemrnaa0000jank/page/3 3]–4}}</ref>
Politik Samfund