Der Hohenlohebau mit dem vorspringenden barocken Ostgiebel aus dem Jahr 1538 wurde von Franz Keller an Stelle eines bestehenden Gebäudes neu errichtet. Im Gebäude ist die Schlossgaststätte eingerichtet, die als zentrale Gastronomie-Einrichtung sowohl Gäste und Touristen als auch die Tagungsteilnehmer verpflegt. In den darüber liegenden Geschossen sind Musikübungs- und Tagungsräume.