Lyster blev født i Dublin, Irland, som den tredje søn af Chaworth Lyster, en kaptajn i hæren, og hans kone Anne, "née" Keightly. Hans onkel var William Saurin, Attorney-General for Irland. Saurins familie var delvis af fransk hugenotisk afstamning. En anden af hans onkler var James Saurin, biskop af Dromore. Som 13-årig blev Lyster, efter en sygdom, sendt på en rejse rundt om i verden og besøgte Sydney og Melbourne i 1842. Efter sin tilbagevenden til England rejste han til Indien med den hensigt at blive planter, men klimaet passede ham ikke, og han vendte igen tilbage til England. I 1847 var han i Sydafrika og kæmpede i den 7. Cape Frontier War
, og et år senere, var i USA, hvor han prøvede sin skæbne som skuespiller med lidt succes.