Das mächtige Wasserschloss in seiner heutigen Gestalt geht auf die Herren von Pfeffenhausen zurück, die im 16. Jahrhundert in Reichertshausen ihren Sitz hatten.
Der spätgotische Bau inmitten einer großen Parkanlage ist auf versteinerten Eichenpfählen gegründet. Die Drei-Flügel-Anlage wird im Westen durch eine hohe Mauer abgeschlossen, so dass ein Innenhof entsteht. Im Torbogen wurden anlässlich der Außenrenovierung 1979/80 gotische Fresken freigelegt. Zinnen und Türmchen schmücken die Fassaden mit aufgemalter Quaderung am Außenputz. Der älteste Teil des Schlosses stammt aus der 2. Hälfte des 11. Jahrhunderts.