[[Keith Richards]] fortalte om sangen i 1995:”'' Mick kom bare op med den. Vi hoppede bare ud i det, en indspilning. Derefter indså vi at det er Willie Dixon; Howlins Wolf indspillede den originalt, men det er en Willie Dixon sang. Vi indså at den var en slags variation af ”My Baby”, som Willie også havde skrevet… Det føltes rigtig. Desuden har vi aldrig gjort det før, og vi ville have et par af numrene ikke skulle være genindspilninger, ligesom ”Like a Rolling Stone”. Vi indspillede den bare og, pludseligt, i sidste øjeblik, fandt vi ud af at vi manglede to sange så den kom på <ref>[http://www.timeisonourside.com/SOLittleBaby.html Little Baby<!-- Robotgenereret titel -->]</ref>.''”
Musik