Kiedyś mieścił się w tym miejscu szpital z kaplicą, wybudowny daleko za miastem. Przeznaczony był dla ludzi biednych, zakaźnie chorych, kalekich. Po całkowitym zniszczeniu w 1656 roku postał nowy budynek, jednak bez kaplicy blisko murów  miejskich. Piękny ryglowy budynek po wielu latach gromadzenia kaszubskiej wiedzy, dokumentów i eksponatów może tym dziś tym wszystkim pochwalić. Po generalnym remoncie w 2014 roku można dodatkowo oglądać bardzo ciekawe wystawy.