Zamek powstał w XIV wieku z inicjatywy możnowładcy Čenka z Vartemberka, który przez budowę popadł w kłopoty finansowe i na poczet długów musiał oddać fortalicję królom czeskim. Sam zamek dzielnie zniósł dziejowe zawieruchy, dwukrotnie oblegany przez husytów, nigdy nie zdobyty. Z czasem stracił na znaczeniu i popadał w ruinę, stając się atrakcją turystyczną i inspiracją dla artystów już w XVIII i XIX wieku.
Pomiędzy wieżami na wychodniach, zwącymi się Baba i Panna (Panna to ta smuklejsza
) znajdowały się otoczone murami pałac właścicieli, którego resztki przetrwały do dziś, oraz zabudowania gospodarcze.
