For at blive optaget i [[den katolske kirke]], måtte Undset opløse sit ægteskab, da Svarstad efter katolske begreber stadig var gift med sin første kone. Om sin skilsmisse sagde Undset: "''Ja, det ville være en usandhed at fremstille det som noget offer.''"<ref name="slapgaard250" /> Men Svarstad, der havde lidt store kvaler overfor sin første kone, da han giftede sig med Undset, tog det tungt at få sit andet ægteskab annulleret.<ref>Sigrun Slapgard: ''Dikterdronningen'' (s. 258)</ref> Han så kun sjældent sine børn. En gang tog Undset lille Hans med til Oslo, så han fik hilst på sin far. De kom op til en mand i en hvid frakke. Manden malede og skændtes med Undset. Bagefter spurgte Hans hende, hvorfor de var gået til tandlægen, når de skulle til hans far? "Den idiot i frakke ''er'' din far," svarede hans mor.<ref>Sigrun Slapgard: ''Dikterdronningen'' (s. 275)</ref>
Historie