Drogba blev født i Abidjan, Elfenbenskysten, og i en alder af fem år blev han sendt til Frankrig af sine forældre for at bo hos sin onkel, Michel Goba, en professionel fodboldspiller. Drogba fik dog snart hjemve og vendte tilbage til Abidjan efter tre år. Hans mor kaldte ham "Tito", efter præsident Josip Broz Tito af Jugoslavien, som hun beundrede meget. Han spillede fodbold hver dag på en parkeringsplads i byen, men hans tilbagevenden til Elfenbenskysten var kortvarig. Begge hans forældre mistede deres job, og han vendte igen tilbage for at bo hos sin onkel.
at bo hos sin onkel