Hans far, Charles Altamont Doyle, blev født i England, af irsk-katolsk afstamning, og hans mor, Mary (født Foley), var irsk-katolsk. Hans forældre giftede sig i 1855. I 1864 blev familien spredt på grund af Charles voksende alkoholisme, og børnene blev midlertidigt indkvarteret på tværs af Edinburgh. I 1867 kom familien sammen igen og boede i sølle lejligheder på 3 Sciennes Place. Doyle's far døde i 1893, i Crichton, Royal Dumfries, efter mange års psykiatrisk sygdom.
22. maj 1859