Pierwotnie składał się z budynku mieszkalnego, wieży, podzamcza i dwóch baszt. Od murów miejskich oddzielała go fosa oraz, prawdopodobnie, dodatkowy mur. W zamku często przebywał król Władysław Jagiełło.
Kres świetności warowni przyniósł pożar w roku 1522. W XVI-XVII wiekach zamek został przebudowany przez rodzinę Lubomirskich w stylu renesansowym a następnie zniszczony podczas Potopu szwedzkiego. Od tego czasu ulegał stopniowej ruinie. W czasie konfederacji barskiej nieostrożnie zaprószony ogień przez konfederatów wypalił część główną warowni ( w tym stropy).W 1813 roku powódź spowodowała zawalenie się części baszty zachodniej.
Po rozbiorach Polski zamek przejęli Austriacy, dokonując jego częściowej rozbiórki. Dopiero w roku 1838, przystosowując resztki warowni na koszary wojskowe, odbudowano część północną zamku. Z czasem urządzono tutaj więzienie.
W 1848 roku miasto odkupiło zamek wydzierżawiając go następnie wojsku na magazyn broni.
Po odzyskaniu przez Polskę niepodległości próbowano zamek kilkakrotnie odbudować, co udało się rok przed wybuchem II Wojny Światowej. Po odbudowie w zamku umieszczono muzeum.
W czasie wojny mieściły się tutaj niemieckie koszary oraz magazyn amunicji. I ta ostatnia okoliczność przypieczętowała w 1945 roku losy warowni. Wybuch magazynów broni zniszczył całkowicie budowlę. Ładunek wybuchowy podłożyli według jednych źródeł partyzanci a według innych Niemcy.
Po wojnie resztki murów zabezpieczono, zrekonstruowano Basztę Kowalską oraz część muru obwodowego z gankiem straży. Ostatnio teren wokół zamku uporządkowano.
Podobno ostatnio rozważa się pomysł odbudowy zamku
.