Zamek pokrzyżacki z przełomu XIV i XV wieku (1398 - 1405), zbudowany na planie prostokąta. Posiada trzy baszty okrągłe (Młyńska, Różana i Polna) oraz czworoboczną wieżę Prochową (zniszczona w czasie wojen szwedzkich i odbudowana dopiero w okresie międzywojennym). Główny i najstarszy gotycki budynek, tzw. Dom Zakonny (obecnie muzeum) znajduje się w północno zachodniej części zamku. W latach 1560-1570 książęta pomorscy przeprowadzili gruntowną przebudowę bytowskiej warowni.

Powstał wówczas Dom Książęcy (obecnie hotel) i nie istniejąca Kancelaria Książęca. Swój wygląd zmieniła także wieża bramna. W 1623 roku wybudowano Dom Wdów (obecnie biblioteka). Zamek w okresie swej świetności pełnił rolę strażnicy granicznej, siedziby administracji krzyżackiej oraz zajazdu dla rycerstwa zachodnioeuropejskiego podążającego do stolicy państwa krzyżackiego - Malborka. Po przebudowie w XVI i XVII w. zamek pełnił funkcję letniej rezydencji książąt zachodniopomorskich - Gryfitów. Po 1930 r. niemieckie władze państwowe przeznaczyły zamek na ośrodek szkoleniowy i schronisko dla młodzieży. Pod koniec lat 60-tych przystąpiono do programu odbudowy zamku bytowskiego, który odzyskał swoją świetność. Przy północnym murze znajduje się Dom Zakonny, naprzeciw Dom Książęcy, zaś przy murze wschodnim Dom Wdów i Dom Sądu. Obecnie w zamku mieści się Bytowski Ośrodek Informacji Turystycznej, siedziba Zarządu Kompleksu Zamkowego, Kaszubsko-Pomorskiego Bractwa Rycerzy Zamku Bytowskiego, biblioteka.

W dawnym Domu Książęcym przygotowano dla gości restaurację i hotel, zaś skrzydło północne zajmuje Muzeum Zachodnio-Kaszubskie prezentujące bogate i ciekawe zbiory etnograficzne oraz czasowe wystawy współczesnego malarstwa, fotografiki i sztuki ludowej. W salach bytowskiego zamku odbywają się koncerty, wernisaże, spotkania, a na dziedzińcu turnieje rycerskie, co sprawia, że pobyt w tym urokliwym miejscu staje się jeszcze bardziej atrakcyjny. Zamek bytowski został włączony w utworzony ostatnio w Polsce Północnej "Szlak Zamków Gotyckich".

Eklektyczny kościół z lat 1847-1854, zbudowany wg projektu Schindlera, na wzór kościoła św. Mateusza w Berlinie. Jest typowym przykładem trójnawowego kościoła halowego. Od północy elewacja nawy środkowej przechodzi w wysoką kwadratową wieżę zamkniętą arkadową galeryjką. Ośmioboczny trzon wieży zwieńczony stożkowym hełmem.

Do 1945 roku funkcjonował jako ewangelicki, p. w. św. Elżbiety (niem. Elisabethkirche), po II wojnie światowej, z braku swojego, przejęli go katolicy. Na uwagę zasługują organy z 1854 r. oraz dwa dzwony z lat 1820-1821, pochodzące z fundacji króla Fryderyka Wilhelma III.