Pierwotnie drewniano-ziemny zespół obronny z przełomu XII-XIII w. Wybudowany na polecenie księcia Bogusław IV, stanowił warownie obronną Księstwa Pomorskiego. Kolejny władca Pomorza Warcisław IV przekazał zamek w lenno rodowi von Wedlów, pod której rządami Połczyn-Zdrój uzyskał prawa miejskie w 1337 roku. Około 1374 roku zamek został sprzedany rycerzowi Gerdowi von Manteuffel z Białogradu. Rodzina rycerska Manteuffiów zadbała o rozbudowę tej budowli obronnej. Zasadnicze przebudowy miały miejsce w XIV wieku za sprawą Kurt von Maneuffel – na miejscu pierwotnego założenia wzniesiono nowy zamek, na początku XVI w. – rekonstrukcja po pożarze oraz w XVIII wieku – wzniesienie barokowego pałacu na średniowiecznych fundamentach pozostałych po zburzeniu na polecenie ówczesnego właściciela starej warowni. Dziś obiekt ma charakter barokowy, a tworzą go dwa piętrowe budynki złączone w kształt litery L. Najciekawszą częścią pałacu są zdecydowanie piwnice, w tym najstarsza, zachowana w pierwotnej wersji część budynku. Dziś w Zamku działa biblioteka, funkcjonuje tu także galeria i wystawa starych pocztówek.
