Da kun Carmen, Frasquita og Mercedes er tilbage, ankommer smuglerne Dancaire og Remendado og afslører deres planer om at afhænde nogle nyerhvervede smuglervarer ("Nous avons en tête une affaire"). Mercedes og Frasquita er ivrige efter at hjælpe dem, men Carmen afviser at være med, da hun vil vente på José. Da smuglerne er gået, ankommer José. Carmen viser ham en privat eksotisk dans ("Je vais danser i votre honneur ... La la la"), men hendes sang får følgeskab af et fjernt signalhorn fra kasernen. Da Jose siger, at han må vende tilbage til sin pligt, håner hun ham. Han svarer hende ved at vise hende den blomst, som hun kastede til ham på pladsen ("La fleur der Jetée dine m'avais"). Carmen er ikke overbevist, og hun forlanger, at han viser sin kærlighed ved at rejse bort sammen med hende. José nægter at desertere. Da han gør klar til at tage afsted, dukker Zuniga op - på udkig efter Carmen. Zuniga og José kæmper, men bliver adskilt af smuglerne, der vender tilbage og som holder Zuniga tilbage. Eftersom han har angrebet overordnet officer, har José nu intet andet valg end at slutte sig til smuglerne og Carmen ("Suis-nous à travers la campagne").
Musik