Po śmierci Jakuba Wejhera w 1657 r.  dobra wejherowsko- rzucewskie przechodziły w posiadanie kilku znamienitych i wpływowych rodów Rzeczypospolitej  m in. Radziwiłłów i Sobieskich, które miastem administrowały przez pełnomocników i zarządców. W I połowie XVIII w podupadł w ruinę wybudowany  przez  Wejhera dwór, który ostatecznie rozebrano.

 W 1720 r. hr. Piotr Jerzy Przebendowski nabywa dobra wejherowsko - rzucewskie, jednak dopiero jego syn decyduje się na budowę nowej rezydencji, w której planował na stałe osiąść.

Ignacy Przebendowski należał do grupy oświeconych magnatów, związał się z ugrupowaniem „Familii”, które dążyło do przeprowadzenia gruntownych reform w Rzeczypospolitej. Do ciekawostek należy fakt, iż jako jeden z pierwszych zaszczepił swoją córkę przeciw ospie. Przebendowski był największym magnatem w Prusach Królewskich, jego dobra obejmowały 1 miasto (Wejherowo) oraz kilkadziesiąt wsi. Pomimo tego borykał się z ciągłymi problemami finansowymi a jego dobra na Pomorzu były znacznie zadłużone.

Przebendowski posiadał dwa pałace: w Rzucewie (niezachowany do dzisiaj) oraz w Lezienku, po jego sprzedaży, w 1767 r. rozpoczął budowę dużego pałacu w Wejherowie, który miał być jego główną siedzibą. Pierwszy rozbiór Polski udaremnił te plany, bezpośrednio po nim sprzedaje swoje dobra na Pomorzu kuzynowi Józefowi Przebendowskiemu, a sam przenosi się na Mazowsze. Budowany przez Ignacego Przebendowskiego pałac nigdy nie został ukończony, wybudowano dwa skrzydła bez łączącego je korpusu (części środkowej). Założenie powstało na miejscu dawnych mieszczańskich ogrodów, był to bagienny teren w pobliżu potoku Cedron, dlatego też został poddany gruntownej melioracji, której rezultatem są kanały i baseny odwadniające,  dodatkowo tworzące malowniczą przestrzeń dla parku, który powstał w otoczeniu rezydencji.

Dobra wejherowsko-rzucewskie przez krótki czas były w posiadaniu Józefa Przebendowskiego, następnie nabywa je, także przejściowo, w latach 1782 - 1790 Aleksander Gibson – kupiec i konsul angielski z Gdańska. Gibson sprzedaje dobra swojemu siostrzeńcowi Ottonowi Aleksandrowi Keyserlingk (1765-1820). Ród Keyserlingk wywodził się z Westfalii, w końcu XV  migruje m. in. do Inflant i Kurlandii, gdzie zamieszkuje aż do XX w. W XVIII w. Keyserlingowie doszli do większego znaczenia i stali się wpływowym rodem, dzieląc się jednocześnie na kilka odrębnych linii, które osiadły na Litwie, Wielkopolsce oraz obu częściach Prus. Przedstawiciele rodu pełnili wysokie godności na dworach w: Dreźnie, Berlinie, Petersburgu, często powierzano im ważne misje dyplomatyczne.  Protoplastą linii wejherowskiej był Otto Ernest Keyserlingk, który otrzymuje w 1777 r. od króla Prus Fryderyka II tytuł hrabiowski, jego młodszy syn, Otto Aleksander burzy w Wejherowie niedokończoną rezydencję Przebendowskich i buduje na przełomie XVIII i XIX w., obok dawnego założenia, nową siedzibę.

Była to parterowa budowla na rzucie prostokąta, z kolumnowym gankiem od strony południowej. Architektura pałacu nawiązywała do form stylistycznych klasycyzmu (o czym świadczy zachowana litografia z I poł XIX w). Park wokół pałacu, przekształcono na założenie typu angielskiego – ze swobodnym układem alejek, z naturalnie rozlokowanym kępami drzew i krzewów. Teren ten do II wojny światowej był niedostępny dla mieszkańców Wejherowa. W parku znajdował się także rodzinny cmentarz Keyserlingów. Jedyny zachowany grób członka tego rodu w Wejherowie to nagrobek Charlotty Adelaidy – najstarszej córki Otto Aleksandra Keyserlingka znajdujący się na Kalwarii Wejherowskiej. Cmentarz rodowy został zlikwidowany na początku lat 50. XX w., po upaństwowieniu dóbr należących do Keyserlingków.

W 1820 r., po śmierci Ottona Aleksandra Keyserlingka, dochodzi do podziału dóbr wejherowsko-rzucewskich.  Klucz rzucewski otrzymuje młodsza córka Emma, która wyszła za mąż za Gustawa von Below (1791-1852) – adiutanta i przyjaciela króla Prus Fryderyka Wilhelma IV. Natomiast dobra wejherowskie przypadły Klementynie, która poślubiła swojego kuzyna Archibalda Ernesta Keyserlingka (1785-1855). Losy obu rodów Keyserlingk i Below będą się splatać, bowiem wnuk Klementyny - Heinrich Gerhard Keyserlingk (1861-1941) ożenił się z Emmą Cecylią von Below – siostrą właściciela Rzucewa. Natomiast ich syn Henryk Keyserlingk (1896 -1945) (junior) poślubił w 1922 r. swoją kuzynkę Paulę von Below ze Sławutówka.  

Dobra wejherowskie – nawet po podziale należały do jednych z największych majątków w prowincji Prusy Zachodnie. Łączny areał dóbr wynosił ok. 7,600 ha, ogromną część stanowiły lasy - ok. 4,600 hektara. W skład majątku wchodziło 10 folwarków, 2 młyny, 2 tartaki, 2 kuźnie, 1 cegielnia – funkcjonował jako samowystarczalne „przedsiębiorstwo”.

II połowa XIX w. należała do okresu największego rozkwitu dóbr. W 1857 r. Otto Archibald Keyserlingk (1819-1872) ustanawia majorat, ta data pokrywa się również z przebudową pałacu, do którego dobudowano dwa boczne skrzydła od strony północnej. Dwuspadowy dach zakrywa „kurtynowa” elewacja w formie schodkowych szczytów. Eklektyczna w swoim wyrazie stylistyka łączy ze sobą formy neogotyckie i neorenesansowe co w efekcie daje nam spójną i czytelną koncepcję architektoniczną pałacu. Po przebudowie plan pałacu nawiązywał do typu założeń pałacowych określanych jako entre cour et jardin (fr. między dziedzińcem a ogrodem), od strony północnej pałac    

Przypałacowy park wtapia się krajobrazowo od strony północnej z założeniem Kalwarii Wejherowskiej tworząc harmonijną przyrodniczo całość. Rodzina Keyserlingk dokonała ok. 1860 r. gruntownej przebudowy kapliczki „Nad Cedronem” położonej w pobliżu założenia pałacowego. Dawna pierwotna, kaplica ufundowana jeszcze przez Jakuba Wejhera uległa zniszczeniu, prawdopodobnie ze względu na podmywający na przestrzeni lat kapliczkę nurt Cedronu. Kapliczka została wykonana z cegły, z analogicznym do pałacowej fasady schodkowym szczytem na którym umieszczono herb rodu Keyserlingk.

Ród Keyserlingk był w posiadaniu pałacu do II wojny światowej, ostatnim właścicielem dóbr był Henryk Keyserlingk. Po wkroczeniu Armii Czerwonej do Wejherowa pałac nie odniósł znaczniejszych zniszczeń, jednak jego wyposażenie zostało rozkradzione i uległo rozproszeniu, zachowało się niewiele ruchomych zabytków i pamiątek.

Po II wojnie światowej w pałacu mieściła się siedziba Milicji Obywatelskiej (1945-1947), następnie Gimnazjum Przemysłu Leśnego (szkoła dla leśników) (1947-1951) oraz przedszkole dla dzieci głuchych (1952-1995). W 1995 r. obiekt przekazano na siedzibę Muzeum Piśmiennictwa i Muzyki Kaszubsko-Pomorskiej w Wejherowie.