Borodin lahir sebagai Mikhail Markovich Gruzenberg () dari keluarga Yahudi di Yanovichi, Kekaisaran Rusia, sekarang bagian dari Wilayah Vitebsk, Belarus, pada tanggal 9 Juli 1884. Pada usia yang sangat muda, ia mulai bekerja sebagai tukang perahu di Sungai Dvina Barat, melintasi bagian sungai antara Vitebsk, Dvinsk, dan Riga, yang sekarang menjadi ibu kota Latvia. Ia kemudian pindah ke Riga, di mana ia menghadiri sekolah malam berbahasa Rusia sambil bekerja di pelabuhan kota. Ia bergabung dengan Bund Buruh Yahudi Umum pada usia enam belas tahun, beralih kesetiaan kepada Bolshevik Vladimir Lenin pada tahun 1903. Ia menjadi rekan dekat Lenin, menggunakan pengetahuannya tentang bahasa Yiddish, Jerman, dan Latvia dalam bekerja sebagai agen Bolshevik di wilayah barat laut kekaisaran. Pada pertengahan 1904, ia diperintahkan untuk melakukan perjalanan ke Swiss untuk bertemu Lenin, yang telah pergi ke pengasingan. Setelah pembantaian "Darah Minggu" terhadap demonstran tak bersenjata oleh pasukan Tsar di Saint Petersburg pada tanggal 9 Januari 1905, Borodin kembali ke Rusia, mengorganisir aktivitas revolusioner di Riga, dan kemudian dipilih untuk menghadiri konferensi Bolshevik
di Tampere, di mana ia bertemu Joseph Stalin.