Når Welles fik sin kontrakt med RKO Pictures, arbejdede Herrmann for ham. Han skrev sin første filmmusik til "Citizen Kane" (1941) og modtog en Oscar-nominering
- Bedste musik til en film. Han komponerede musikken til Welles' The Magnificent Ambersons (1942); ligesom filmen blev musikken i høj grad redigeret af RKO Pictures. Da mere end halvdelen af hans musik blev fjernet fra soundtracket, afbrød Herrmann bittert sine bånd til filmen og lovede retslige foranstaltninger, hvis hans navn ikke blev fjernet fra kreditterne.