Baler blev valgt som demokrat til den 58. kongres, og var amerikansk repræsentant for New Yorks sjette distrikt fra den 4. marts 1903 til den 3. marts 1905. Hans ene embedsperiode var præget af kontroverser, da Baker forblev tro mod sin reformistiske filosofi og hurtigt tjente tilnavnet "No Pass" Baker for at afvise de gratis jernbanepas, der derefter regelmæssigt blev uddelt til lovgivere af B & O Railroad. Som pacifist indførte han en lov om opløsning af det amerikanske militærakademi på West Point og et andet forslag, der fordømte "Bloody Sunday"
Massakren i St. Petersburg, Rusland.