Die Vergangenheit der Gemäuer reicht bis ins Jahre 1274 zurück. Zu dieser Zeit stand in Lindenau eine berühmte Wallfahrtskirche, welche 1312 von Rammingen an das Kloster Kaisheim verschenkt wurde.
Die Wallfahrtskirche wurde um ein Hospitz erweitert.

Als Lindenau allerdings im Jahre 1803 an die Bayern ging, wurde die Kirche abgerissen. Die Ausstattung wurde verteilt. So sind die Glocken beispielsweise noch heute in Rammingen vorhanden. 

Das noch erhaltene Hospitum wurde später in ein Jägerhaus umgewandelt.

Im Jahre 1833 kam es in den Besitz eines Privatmannes, zunächst als Bauernhaus. Seit mehreren Generationen wird auf dem Anwesen Landwirtschaft und eine Gaststätte betrieben.

Heute ist das Anwesen im Besitz der Familie Steeger die dafür sorgt, dass das  Flair dieser historischen Gemäuer erhalten bleibt.