Lyster lahir di Dublin, Irlandia, putra ketiga Chaworth Lyster, seorang kapten di tentara, dan istrinya Anne, "née" Keightly. Pamannya adalah William Saurin, Jaksa Agung untuk Irlandia. Keluarga Saurin sebagian berasal dari ekstraksi Hugenot Prancis. Paman lainnya adalah James Saurin, Uskup Dromore. Pada usia 13, Lyster, setelah sakit, dikirim dalam perjalanan keliling dunia dan mengunjungi Sydney dan Melbourne pada tahun 1842. Setelah kembali ke Inggris, ia pergi ke India dengan maksud untuk menjadi seorang penanam, tetapi iklim tidak cocok baginya, ia kembali ke Inggris. Pada tahun 1847, ia berada di Afrika Selatan dan berperang dalam Perang Cape Frontier ke-7
, dan setahun kemudian, berada di Amerika Serikat di mana ia mencoba keberuntungan sebagai aktor dengan sedikit keberhasilan.