Burg Elkofen ist eine der am besten erhaltenen Burgen Süddeutschlands. Sie ist mittlerweile seit 150 Jahren wieder durch die Familie der Grafen von Rechberg bewohnt. Die Gegend war schon in der Hügelgräberbronzezeit (um 1500 v. Chr.) bewohnt, wie Scherbenfunde belegen. Unter den Karolingern gehörte sie zum Westengau und wurde 888 vom Kaiser Arnulf den Grafen von Sempt und Ebersberg verliehen, die 911 in Ebersberg ein Kloster erbauen ließen. Mit dem Aussterben der Grafen von Ebersberg wurden Burg und „Giesling“ (heute Grafing) 1048 zuerst dem Kloster Ebersberg gestiftet, bevor es 1382 die Herzöge Stephan III. und Johann II. von Bayern erwarben. Es folgte eine Zeit häufiger Besitzerwechsel bis im 19. Jahrhundert Verfall und Abriss drohten. 1871 erwarb dann Graf Ernst von Rechberg die Burg für 60 000 Gulden und ließ sie vollständig renovieren. So ist die Anlage bis zum heutigen Tage wieder im Besitz der Familie der Grafen von Rechberg.