Tolstaja blev født i Leningrad i en forfatterfamilie. Hendes bedstefar, Aleksei Nikolaevich Tolstoy, var en banebrydende science fiction forfatter, og søn af grev Nikolay Alexandrovich Tolstoy (1849-1900) og Alexandra Leontievna Turgeneva (1854-1906), en slægtning af Decembrist
Nikolay Turgenev og forfatteren Ivan Turgenev. Tolstayas farmor var digteren Natalia Krandievskaya. Mikhail Lozinsky (1886-1955), hendes morfar, var en litterær oversætter berømt for sin oversættelse af Dantes "Den guddommelige komedie". Tolstayas søster Natalia var også forfatter. Hendes søn, Artemy Lebedev, er grundlæggeren og ejeren af Art. Lebedev Studio, et russisk webdesign firma.