Das Schloss wurde unter Graf Adolf XI. zu Holstein Schaumburg von etwa 1534 bis etwa 1538 unter Einbeziehung mittelalterlicher Gebäudereste gänzlich neu gestaltet. Die Planung lag in der Hand des schwäbischen Baumeisters Jörg Unkair, der die Architektur der frühen Weserrenaissance entscheidend prägte. Der Nordflügel entstand erst um 1593. Die mächtige, um einen Rechteckhof gruppierte Vierflügelanlage bietet trotz längerer Bauzeit ein einheitliches Gesamtbild.

Das sehr weiträumig erbaute Schloß diente bis zur Verlegung 1608 nach Bückeburg als Residenz und Regierungssitz. Heute ist im Schloß das Finanzamt untergebracht.