1804 erwarb die Frankfurter Adelsfamilie Brentano das Ackermannsche Haus in Winkel als Sommersitz. Hier verweilten Goethe, die Brüder Grimm und Karoline von Günderode.
Das Renaissance - Gebäude wurde 1559 errichtet und erhielt durch mehrere Um- und Erweiterungsbauten im 18. und 19. Jahrhundert seinen heutigen Grundriss.