Pichai lahir di Madurai, Tamil Nadu, India dalam sebuah keluarga Tamil. Ibunya Lakshmi adalah seorang stenografer dan ayahnya, Regunatha Pichai adalah seorang insinyur listrik di GEC, konglomerat Inggris. Ayahnya juga memiliki pabrik manufaktur yang memproduksi komponen listrik. Pichai dibesarkan di sebuah apartemen dua kamar di Ashok Nagar, Chennai. Pichai menyelesaikan sekolahnya di Jawahar Vidya Vidyalaya, sebuah sekolah Central Board of Secondary Education di Ashok Nagar, Chennai dan menyelesaikan Kelas XII dari sekolah Vana Vani di Indian Institute of Technology Madras.
Bahasa Tamil