Dina taun 1981, Rometty ngagabung ka IBM salaku analis sistem jeung insinyur sistem di Detroit. Awalna gawé bareng klien di industri asuransi, manéhna méakkeun sapuluh taun kahiji di IBM dina posisi teknis. The New York Times nulis yén manéhna "gancang pindah nepi ka runtuyan jobs manajemén", dimana manéhna digawé jeung klien di asuransi, perbankan, telekomunikasi, manufaktur jeung perawatan kaséhatan. Manéhna spent taun 1990-an gawe di jualan, sarta ku ahir taun 1990-an ieu nulungan klien kayaning Prudential Financial, Inc. jeung fitur internét maranéhanana. Manéhna ngagabung IBM urang konsultan Grup dina taun 1991.
taun 1991