Die Taborhöhe gilt als geheimnisumwoben, vor allem wegen ihrer vielen Höhlen, die durch die besondere Beschaffenheit des Gesteins, des Sattnitzkonglomerats, entstanden sind. Diese Gesteinsart verhält sich ähnlich wie Kalk: Wasser kann einsickern und das Gestein ausschwemmen.
Zuflucht während der Türkenkriege.
Einige der Höhlen sind bekannt, laut der Sage sollen in einer bestimmten davon die „saligen Frauen“ gelebt haben – hilfsbereite und weise Frauen, die dem Menschen des Landes mit Rat und Tat zur Seite standen. Diese guten Seelen waren menschenscheu und sie verabscheuten Lärm – und wehe demjenigen, der sie mit lautem Krach störte.
Die Menschen zogen sich vor allem in der Zeit der Türkenkriege in die Höhlen zurück. Immer wieder sorgte der Tabor in der Vergangenheit für überraschende Ereignisse: Als 1959 die Straße auf den Berg gebaut wurde, entstand plötzlich ein riesiges Lock. Im Jahr 2016 sackte der Untergrund ein weiteres Mal ein, und es entstand ein weiteres Loch mit zwei Metern Tiefe.
Auch der Wauberg, ein Nebenhügel des Tabors, birgt einige Geheimnisse, die erst kürzlich zum Vorschein kamen. 2015 gab es hier erste wissenschaftliche Grabungen, bei denen eine Zisterne sowie Tonscherben aus dem 12. Jahrhundert entdeckt wurden. Diese Funde gehen auf die Zeit der Bamberger und Spanheimer zurück. Es könnte sich auch um die Überreste der Burg von Herzog Bernhard sein, der zu dieser Zeit in Villach und Wernberg wirkte.