據寺碑記載，上高宗廟始建於西漢元光二年(公元前135年)，明代萬歷年間重修，最後壹次重修於清朝康熙年間。高宗寺內有數十棵松柏，高約30英尺，折疊粗細，樹齡超過500年。寺內有近百塊石碑，高壹尺多，石龜駝形，低七八尺，石座固定。傳說把饅頭放在石碑上研磨，孩子吃了可以免於災難。所以每當3月3日、6月6日有廟會，春節、元宵節等節日，都會有很多香客、農民來開會，帶著孩子來磨饅頭。久而久之，石碑被打磨得光亮如鏡，字跡模糊不清。
有高城的土城遺址分為兩部分，北面較大的叫翟；南邊小壹點的叫城市。城四周有城墻，城墻上有城墻。城東有壹座城門，城門上有壹座城樓。塔上用三個漢字寫著“青龍城”。據說這種風格壹直保留到解放前夕。
在高程的廢墟上，有夯土層和修城時的夯窩。古代人們用碗口粗的大棒砌墻，夯實的土層會留下壹個被棒頭砸出的圓坑，這是壹種非常古老的建築方法。有人推測，這座城市建於5000多年前，是因為在這裏發現了粗細不同的繩紋陶片、陶罐、灰坑和文化層。同時，這裏還出土了西周的樂器、春秋時期越國的武器、矛和戟以及戰國時期的青銅箭簇。有人推斷此地曾是古戰場，這座城市的歷史綿延不絕。
在民間，青龍城是流傳給神仙的。據說這座城市是當地幾個村莊的村民躲避戰亂和土匪的地方。避難時，城裏人只要不說“滿”，人就進去，十八萬就能容納；壹旦有人說“滿員”，哪怕裏面只有壹萬人，也沒人能進去。聽起來很迷信，但有些老人還是相信。
據說離青龍城不遠，還有壹座秦歌城，相傳是商紂王為妲己公主所建。結合出土文物推測，高度較高的城池可能建於夏商時期，歷史可謂久遠。