I whanau a Doyle i te 22 o Mei 1859 i te 11 Picardy Place, Edinburgh, Scotland. I whanau tona papa, a Charles Altamont Doyle, i Ingarangi, no te uri Katorika Irish, a ko tona whaea, a Mary (née Foley), he Katorika Irish. I marenatia ona maatua i te 1855. I te 1864 i marara te whanau na te kaha o te haurangi o Charles, a i noho nga tamariki mo te wa poto i Edinburgh. I te tau 1867, ka huihui ano te whanau ka noho ki nga kaainga taera i te 3 Sciennes Place. I mate te papa o Doyle i te 1893, i te Crichton, Royal Dumfries, i muri i nga tau maha o te mate hinengaro. I tautokohia e nga matua rangatira, i tukuna ia ki Ingarangi, i te kura whakareri a Jesuit Place Hodder, i Lancashire.
Ko Crichton Royal, ko Dumfries,