Skriv en fortsættelse til dette afsnit - Adam Stanislaus Krasinski blev udvist fra bispedømmet som følge af opstanden i 1863
, men fortsatte alligevel med at styre bispedømmet indtil 1883, da han trak sig tilbage til Kraków. Hans efterfølger, Charles Hrynieweki, blev forvist til Jaroslav efter to års biskopskab, og i 1890 abdikerede og trak sig tilbage til Galicien. Under sit eksil styrede Ludovic Zdanowicz bispedømmet som patriarkalsk vikar. I 1890 blev Anthony Francis Audziewicz, en kanoniker fra Sankt Petersborg og en lærd teolog, udnævnt til biskop af Vilnius. Han døde i 1895; bispedømmet blev derefter styret af Louis Zdanowicz, titulær biskop af Dionysias. I 1897 lykkedes kanon Stephen Alexander Zwerowicz, og blev i 1902 overført til Sandomir. Hans plads blev overtaget af baron Edward Ropp, der gik i gang med at organisere den katolske bevægelse i bispedømmet, og derved pådrog sig den russiske regerings fjendtlighed. Da biskop Ropp var blevet forvist til Pskov, blev bispedømmet betroet til Casimir Nicholas Michalkiewicz som apostolisk administrator.