[[De Kellerske Anstalter]] overtog i [[1911]] øen{{r|Leth 1916|p=352}}, hvorefter den de næste 50 år blev benyttet som [[Fængsel|fangeø]] og befolket af [[Udviklingshæmning|udviklingshæmmede]] og [[kriminel]]le [[mand|mænd]], samt ansatte ved anstalten og deres [[familie (menneske)|familier]]. Den oprindelige lokalbefolkning var beskæftiget ved [[landbrug]]et, [[værksted (arbejdsrum)|værksted]]erne, [[skov]]en og [[mejeri]]et. [[Birgit Kirkebæk]] har forsket i og skrevet bøger om de åndssvages vilkår på Livø. I [[1971]] var øen en kort overgang besat af en række [[kunstner]]e, bl.a. [[Bjørn Nørgaard]] og [[Per Kirkeby]]. Deres forsøg på at drive [[landbrug]] mislykkedes på grund af manglende kyndighed, og besættelsen ophørte ved [[politi]]ets indgriben.
Naturbeskyttelse