Budowa zamku została zapoczątkowana w XV wieku jako wieżowy dwór obronny. W XVII i XVIII wieku został adoptowany przez rodzinę Tarnowskich i przebudowany. Do zamku dodano system fortyfikacji bastionowych. W 1830 roku zamek został ponownie przebudowany na rezydencję – muzeum w stylu neogotyku, według projektu architekta Franciszka Marii Lanciego.

Od 1834 roku w zamku przechowywano słynną kolekcję Tarnowskich, na którą składały się zbiory malarstwa europejskiego XVI-XVIII wieku, biblioteka (z rękopisem Pana Tadeusza autorstwa Adama Mickiewicza) i archiwum rodowe, a także liczne pamiątki narodowe.

W 1972 roku w zamkowych piwnicach odnaleziono kolekcję cennych sreber, która została następnie przewieziona do zamku w Łańcucie.

W 2011 roku zakończył się gruntowny remont zamku, przystosowujący go do funkcji muzealnej. Przeprowadzone zostały renowacje piwnic oraz poddasza i zaadaptowane pod sale muzealne.