In den Felsklippen, die hier am Rehberger Graben in Form der „Hohen Klippen“ aufragen, können Sie die Oberkante der Granitintrusion erkennen. Hier lagert zu Hornfels verändertes, älteres Sedimentgestein auf dem später aufgedrungenen Granit.
Der Ort verdankt seinen Namen einem Besuch von Goethe im Jahr 1783.