Napisati nadaljevanje za ta odstavek - Na začetku husitskih uporov
, je Švihovska družina v okrožju iskala zatočišča podpornikov katoliške strani in njihove zaklade v Rábiju. Leta 1420/21 so husiti dvorac dvakrat osvojili, legenda pa pravi, da je med drugo obleganjem puščica iz lokostrelca zadela deblo hruške in da je rezina iz drevesa zadela Jana Žižko v njegovo edino dobro oko. Leta 1479 je pokrajinski guverner Půta Švihovský iz Rýzmberka postal lastnik posestva in začel premišljeno preoblikovanje gradu pod vodstvom slavnega mojstra Benedicta Rejta. Zgrajeni so bili novi stanovanjski prostori in službene stavbe, grad je bil razširjen in utrdbe povečane.