Baler kapilih minangka anggota Démokrat pikeun Kongrés Kalima Puluh Dalapan, Baler mangrupa Wakil AS pikeun distrik kagenep New York ti 4 Maret 1903 nepi ka 3 Maret 1905. Mandat tunggalna di kantor ditandaan ku kontrovérsi sabab Baker tetep satia kana filsafat réformis na, sareng gancang kéngingkeun julukan "No Pass" Baker pikeun nolak pas karéta api gratis anu teras rutin diserahkeun ka anggota parlemén ku B & O Railroad. A pacifist, anjeunna ngawanohkeun panerapan pikeun ngabubarkeun Amérika Sarikat Militér Akademi di West Point jeung gerak sejen condemning nu "Bloody Minggu"
massacre di St. Petersburg, Rusia.