Borodin se je rodil v judovski družini v Janovičih v Ruskem cesarstvu, ki je zdaj del regije Vitebsk, Belorusija, 9. julija 1884. Že zelo mlad je začel delati kot čolnar na Zahodni Dvini, ko je prečkal del reke med Vitebskom, Dvinskom in Rigo, ki je zdaj glavno mesto Latvije. Kasneje se je preselil v Rigo, kjer je obiskoval rusko govoreče nočne šole, medtem ko je delal v mestnem pristanišču. Pri šestnajstih letih se je pridružil splošnemu judovskemu delavskemu bundu, leta 1903 pa se je pridružil bolševikom Vladimira Lenina. Postal je Leninov tesni sodelavec, saj je svoje znanje jidiša, nemščine in latvijskega jezika uporabljal pri delu kot boljševiški agent v severozahodni regiji cesarstva. Sredi leta 1904 mu je bilo naročeno, naj odide v Švico, da bi se srečal z Leninom, ki je odšel v izgnanstvo. Po "krvavi nedelji", ko so carske enote 9. januarja 1905 v Sankt Peterburgu pobile neoborožene protestnike, se je Borodin vrnil v Rusijo, organiziral revolucionarno dejavnost v Rigi in bil pozneje izbran za udeležbo na bolševiški konferenci
Tam je spoznal Josifa Stalina.