高歡雲東位於半懸崖之上，頂上是百尺懸崖，底部是萬丈深淵激流。後來因為修路擡高地基，這個洞現在離地面只有幾米了。
此洞雕有四根八角柱，雄偉莊嚴，與楣石相連，雕有精美的火焰圖案。四柱之上，額檐上雕有五個長方形深龕，共兩層，各有四個龕，均為方形。每個龕分為六個長方形的洞穴，頂樓離地30多米。還有壹些洞穴圍繞主洞橫向延伸，分南北兩部分，自成體系。
大家可以看到，這是壹個巨大的石雕建築群，規模宏大，工程眾多，平面面積至少有幾百平方米。很遺憾這個龐大的工程因為某些原因中途停止了。
高歡雲東至少是北魏的遺跡。據《遼州誌》記載，高歡曾在此避署，主洞名為“避宮”。高歡是東魏孝景帝的宰相，為兒子高楊開辟北齊，在太行駐軍。它經常往返於新舊都城葉君(今臨漳)和平城(今大通)之間，在這裏修建大型工程的可能性很大。
但從主洞內的遺存來看，很明顯有壹尊大佛的坐像雕刻在裏面，可能是拜佛者雕刻的。
還有壹種說法，就是原來經營這裏石雕窯洞的人，發現往南數百裏的唐旺角(在河北歙縣)的形勢比這裏好，石頭質量也比這裏好，就棄此地而建，使此地功虧壹簣，唐旺角後來有了宏偉的宮殿。
上述說法在古籍中均無詳細記載，但民間流傳著壹個美麗的傳說，即“高官堂為魯班所作”。
高歡雲東以西的群山之上，萬山群谷之中，有壹石崖，中間有兩個洞，自東向西通明，直徑十余尺。相傳魯班建造“高觀殿”不用錘子，更不用鑿子，而是用手工，所以進度非常緩慢，工作非常辛苦。炎炎夏日，魯班汗如雨下，於是脫了衣服，光著身子幹活。
山的另壹邊是魯班的家，他媽媽和姐姐在家給他做飯。每當魯班覺得餓了，就穿上衣服，在洞外敲響特制的鼓，他的母親或姐姐就翻山來送飯。
有壹天，魯班正在光著身子幹活。突然，壹只巨大的屎殼郎從懸崖上落到了鼓上。“咚”的壹聲後，魯班的妹妹提著米筐來送飯。當魯班突然看到自己的妹妹壹絲不掛時，他自然非常羞愧。匆忙中，他跑回家，在懸崖上撞出了壹個大洞。沒想到，他剛到家，他媽就在醫院洗衣服，慌了。