Efter sin eksamen i 1979 gik Rometty på arbejde for General Motors Institute i Detroit, hvor hun var ansvarlig for applikations- og systemudvikling. I 1981 sluttede hun sig til IBM som systemanalytiker og systemingeniør i Detroit. I begyndelsen arbejdede hun med kunder i forsikringsbranchen, og hun tilbragte sine første ti år hos IBM i tekniske stillinger. New York Times skriver, at hun "hurtigt flyttede op til en række ledelsesjob", hvor hun arbejdede med kunder inden for forsikring, bank, telekommunikation, fremstilling og sundhedspleje.
Det Europæiske Råd