Borodin blev født Mikhail Markovich Gruzenberg () til en jødisk familie i Yanovichi, det russiske imperium, nu en del af Vitebsk Region, Hviderusland, den 9. juli 1884. I en meget ung alder begyndte han at arbejde som bådmand på den vestlige Dvina, hvor han krydsede floden mellem Vitebsk, Dvinsk og Riga, nu Letlands hovedstad. Senere flyttede han til Riga, hvor han gik på russisk-sprogede natskoler mens han arbejdede i byens havn. Han sluttede sig til General Jewish Labour Bund i en alder af seksten, skiftede troskab til Vladimir Lenins bolsjevikker i 1903. Han blev en nær kollega af Lenin og brugte sin kendskab til jiddisch, tysk og lettisk til at arbejde som en bolsjevikisk agent i imperiets nordvestlige region. I midten af 1904 blev han beordret til at rejse til Schweiz for at møde Lenin, der var gået i eksil. Efter den "Blodige søndag" massakre på ubevæbnede demonstranter af tsaristiske tropper i Sankt Petersborg den 9. januar 1905, Borodin vendte tilbage til Rusland, organiseret revolutionær aktivitet i Riga, og blev senere udvalgt til at deltage i bolsjevikkonferencen
Han mødte Josef Stalin i Tampere.