Etwa 500 m Fußweg westlich unterhalb der Weidelsburg liegt die sich im Eigentum von Hessen-Forst, Forstamt Wolfhagen, befindende Freizeitanlage „Katzenloch“, ein in den 1960er Jahren stillgelegter Basaltbruch. An ihm führen unmittelbar über den sogen. Zick-Zack-Weg die Fernwanderwege Habichtswaldsteig-Extratour H8 und der Hugenotten-Waldenser-Pfad vorbei.
Ein sicherer Nachweis der Namensbezeichnung „Katzenloch“ kann nicht erbracht werden. Es darf jedoch davon ausgegangen werden, dass diese von der Natursteinbezeichnung „Katzenköpfe“ abgeleitet wurde. So werden seit alters her die für den Straßen und Wegebau verwendeten Basaltpflastersteine bezeichnet.

In Hessen ist der Name „Katzenloch“ 40mal als Flurbezeichnung geläufig. Im Allgemeinen wird auch anderen Orts der Name „Katzenloch“ zur Bezeichnung einer tiefen Höhle mit labyrinthischen Gängen verwendet.
1939 stieß man im Basaltsteinbruch der Weidelsburg auf eine Höhle, die mehrerer Meter tief war. In der Region wird manchmal die Bezeichnung „Katzenloch“ auch in Verbindung mit der Geschichte der Chatten (= Hessen) gebracht.

Der heute stillgelegte Steinbruch am Weidelsberg entstand bereits im 12. Jahrhundert im Zuge des Baus der Weidelsburg. Nachdem die obere Ebene des Bruchs nicht mehr ertragreich war, wurde eine zweite angelegt, die bis in die 60er Jahre des letzten Jahrhunderts in Betrieb war. Wegen der nachlassenden Rentabilität und aus Gründen des Naturschutzes wurde der Steinbruch endgültig stillgelegt.

Der im „Katzenloch“ gewonnene Säulenbasalt war sehr begehrt. Wie die Dorfchronik Ippinghausen von 2012 berichtet, fanden die gebrochenen Säulen als Torpfosten, Zaun- und Begrenzungspfähle Verwendung. Auf 1,20 m Länge gebrochene Säulen wurden u.a. auch als Begrenzungspfosten an der Edersee-Randstraße (Bau des Edersees von 1908 – 1914) eingebaut. Überwiegend wurde der Basalt jedoch für den Straßen- und Forstwegebau verwendet und für diese Zwecke sogar bis nach Holland verkauft.

Ein besonderes Highlight ereignete sich am 06. Juli 1930 im Katzenloch. Zum Auftakt der großen Freilegungs- und Sanierungsmaßnahme der Burgruine Weidelsburg (1930 - 1935) fand an diesem Tage in der Burgruine und im Basaltbruch ein Heimatfest statt, an dem nach überlieferten Zeitungsberichten über 3.000 Besucher aus dem Wolfhager Land teilnahmen. An diesem Tage wurden im Katzenloch aufgeführt:

• Liedvorträge verschiedener Gesangvereine aus dem Wolfhager Land,
• das „Tellspiel der Schweizer Bauern“,
• Volkstänze, Reigen und turnerische Vorführungen.

Ende der 1970er Jahre wurde dann auf der unteren Ebene vom Forstamt Wolfhagen gemeinsam mit dem Zweckverband Naturpark Habichtswald eine Freizeitanlage eingerichtet, die 1980 mit dem Bau der Schutzhütte durch den Naturpark abgeschlossen wurde.

2008 fand wegen notwendiger Burgsanierungsmaßnahmen der jährliche Weidelsburgtag im Katzenloch statt. Mit einem Gesamtkostenaufwand von rd. 10.000,- €, davon ca. 75% durch Eigen-und Sponsorenleistung konnte die verfallene Sitzgruppe und die baufällige Schutzhütte erneuert sowie die morastige Fläche der Freizeitanlage durch den Einbau einer Drainage trockengelegt werden. Gleichzeitig wurde die Anlage vom Buschwerk und Baumbewuchs befreit.

Unterstützt wurden die Sanierungsmaßnahmen durch die Aktionsgemeinschaft zur Erhaltung der Weidelsburg, durch das Forstamt Wolfhagen, durch den Zweckverband Naturpark Habichtswald, den Ortsbeirat Ippinghausen, durch das Zimmerausbildungszentrum Kassel sowie durch freiwillige Helfer.

Da sowohl die obere als auch die untere Basaltwand und das dazwischenliegende Plateau durch Wurzelausschlag und Buschwerk total zugewachsen waren, erfolgte 2014 aufgrund der Initiative des Fördervereins zur Erhaltung der Weidelsburg, im Einvernehmen mit dem Forstamt Wolfhagen und in Zusammenarbeit mit der unteren Naturschutzbehörde ein grundlegender Freischnitt durch einen Landschaftspflegebetrieb. Die Kosten hierfür betrugen rd. 6.000,- € und wurden überwiegend mit Ersatzgeldern der Naturschutzbehörde finanziert.