Um 1885 kaufte Georg Ritter von Aichinger, Initiator der Kronprinz Rudolf Bahn, den Bauernhof mit dem Hausnamen „Kahsegger“ am Erbsattel. Der Keller und Teile der Steinmauern dieses Bauernhofes wurden beim Bau von Schloss Kassegg in den Südflügel integriert.[4] Für das Jahr 1886 sind umfangreiche Holzschlägerungen in Gstatterboden (im Gesäuse) für den Bau von Schloss Kassegg belegt.[5] Von 1899 bis 1902 führten statische Probleme am Westturm, der einzustürzen drohte, zum großen Umbau von Schloss Kassegg. Der Westflügel wurde dabei verkürzt und ein Teil des Turmes versetzt. Die Schlosskapelle fiel den Umbauarbeiten zum Opfer.
1918 kaufte der letzte Außenminister der K&K Monarchie, Graf Czernin, Schloss Kassegg und zog sich nach dem Zerfall des österreichischen Kaiserreichs hierher zurück, wo der passionierte Jäger mehrere Jahre zumindest zeitweise lebte. Er war immer wieder auf Großwildjagd in Afrika. Einige seiner Trophäen sind noch heute erhalten. Sie kommen noch heute als Teil der Masken beim berühmten "Hammerschmied-teufellauf" am 1. oder 2. Adventwochenende in St. Gallen zum Einsatz.
1938 wurde Schloss Kassegg von den Nationalsozialisten beschlagnahmt und dem Stabsamt des „Reichsforst- und Jägermeister Hermann Göring“ einverleibt. Für dieses hatte es in den folgenden Jahren bis 1945 mehrere Funktionen, unter anderem zwei Jahre als Kinderheim für Kinder aus Graz. Teilweise stand das Schloss aber in dieser Zeit leer und wurde ausgeplündert.
1946 erhielt Graf Czernin das leere und beschädigte Schloss zurück und verkaufte es sofort. Nach mehreren Besitzerwechseln erwarb Gustav Franz de Paul Hoffmann 1953 die Anlage mit rund 4,5 Hektar Grund (inklusive verwildertem Schlosspark).
Von 1954 bis 1964 war Schloss Kassegg Internat und Sonderschule im Auftrag des Landes Oberösterreich.
Von1964 bis 1988 diente es als Kinder- und Jugendferienheim mit 196 Betten und wurde zum touristische Leitbetrieb der Region. Unter der Leitung des Ehepaares Gustav und Gerlinde Hoffmann konnte das Ferienheim in Spitzenzeiten bis zu 35.000 Gästeübernachtungen im Jahr verzeichnen. Ein eigener Schilift ergänzte das Angebot für Kinder- und Jugendgruppen im Winter, zu denen über 15 Jahre hindurch auch die Europäischen Schulen aus Brüssel gehörten.
Danach stand Schloss Kassegg 20 Jahre lang leer und wurde ab 1998 aufwendig renoviert.
Schließlich wurde Schloss Kassegg als 3-Stern Naturhotel eröffnet. Es ist ein Partnerbetrieb des Naturparks Steirische Eisenwurzen und des Nationalparks Gesäuse. Es ist ein "Offline-Hotel" und ein Umweltzeichen Betrieb.
2013 erhielt Naturhotel Schloss Kassegg das österreichische Umweltzeichen.