W miejscu, gdzie teraz znajduje się Zamek, pierwotnie stała wieża mieszkalna wzniesiona przez Andrzeja Radziejowskiego. Rozbudowywał on rodową siedzibę, chcąc ją dostosować do dystynkcji wojewody płockiego, którą otrzymał w 1512 roku. W owym czasie były to dość powszechny sposób łączenia w budowli funkcji mieszkalnej, reprezentacyjnej i obronnej, zapoczątkowany przez Zygmunta Starego. W XVI wieku wieża została rozbudowana przez Mikołaja Radziejowskiego. Przestała ona także mieć charakter obronny, a miała przede wszystkim charakter reprezentacyjny z wielką izbą na piętrze zgodną z zasadą piano nobile. Wieża miała zdecydowanie większą powierzchnię, niż dziś, w związku z czym wejście umieszczone było w innym miejscu. Świadczą o tym mury odkryte pod murawą dziedzińca.

Dzisiejsza neogotycka bryła Zamku uzyskała swój kształt w XIX wieku, dzięki ówczesnym właścicielom Radziejowic, rodzinie Krasińskich. Jest ona dziełem architekta Jakuba Kubickiego. Zamek wybudowano od nowa i nadano mu „starodawny” wizerunek, świadczący o romantycznej historii siedziby. Wyeksponowano herby oraz tablice z inskrypcjami. Dobudowano arkady, które łączyły Zamek z Pałacem. Obecnie mieszczą się tu dwa apartamenty oraz zaplecze gastronomiczne Pałacu.