北山寺古稱土樓觀。明代稱之為永興寺，近代改稱北山寺。北山寺依山面水，居高臨下，上有斷巖壁立，下有陡坡相連，地勢險峻，氣勢宏偉。相傳，該寺始建於漢魏時代，為“湟中古寺第壹。我國著名古籍闞骃《十三州記》曾有這樣的記載：“西平亭北，有土樓，神祠者是也。”北魏地理學家酈道元在《水經註》壹書也有過這樣的記載：“上有土樓寺，北依山原，峰高三百尺，有若削成，下有神祠、彤墻、故壁存焉。”由此推斷，北山寺迄今已有二千多年的歷史，看來比西寧古城的歷史還要長久。北山寺的建築基本上是依山腰之中的紅砂巖天然斷層，由西向東，依次而建的。最西頭是玉皇洞，接著是無量洞和城隍洞。這三個洞不太深，但比較寬敞。
北山寺是壹個很神秘的地方，集儒釋道於壹山，山上供著諸多的神仙，甚至連閻羅王也有供奉，更加增添了北山寺的神秘感。清朝詩人張思憲曾做“北山煙雨”詩“北山隱約書模糊，煙雨朝朝入畫圖。卻憶草堂留我住，愛他水墨米顛呼”