Skriv en fortsættelse til dette afsnit - Mulighed allerede i det 11. århundrede blev den befæstede kirke og tilflugtsborg et adelsmandslot. I det 11. eller 12. århundrede blev der bygget et firkantet tårn på den sydlige side af bakketoppen. Man ved intet om de første adelsmænd ved Solavers. I det 13. århundrede blev slottet erhvervet af herrerne af Aspermont. De kontrollerede den nedre Prättigau dal fra Solavers og den øvre dal fra Castels Slot i Luzein. I begyndelsen af det 14. århundrede var familien Aspermont i økonomiske vanskeligheder og solgte i 1338 Prättigau-dalen til familien von Matsch og greverne af Toggenburg. I 1344 delte Matsch- og Toggenburg-familierne deres godser med Toggenburg, der modtog Solavers. Den sidste greve, Frederik VII, kan have været født i Solavers. Hans død i 1436 førte til oprettelsen af De Ti Jurisdiktioners Forbund, som var en sammenslutning af ti samfund i regionen, der søgte frihed fra udenlandske overherrer. Frederik 7.s død startede også Toggenburgkrigen
og en langvarig strid om slottets arv.