Zamek pochodzi z XIV/XV, wybudowany jest na podstawie prostokąta o wymiarach 79m na 50 m. Głównym budynkiem był dom zakonny który miał aż 36x11m. Zamek posiada aż 4 baszty: Różną, Polną , Młynską oraz Prochową którą został odbudowana po zniszczeniach wojennych. Obecnie w domu zakonnym jest muzeum. Parter poświęcony jest kulturze materialnej Kaszub Bytowskich, I pietro to historia zamku za czasów krzyżackich i Gryfitów książąt zachodniopomorskich. Natomiast II piętro odnosi się do czasów terażniejszych. Wystawa ta poświęcona jest współczesnej sztuce ludowej Kaszub.