尼山的主要建築是“尼山孔廟”。據《闕裏文獻考》載：“後周顯德中，以尼山為孔子發祥地，始創廟”。說明此廟最早建於五代後周顯德年間（公元954-960）。宋代慶歷三年，（公元1043年）孔子第四十六代裔孫孔宗願擴建尼山孔廟，增建講堂，立學舍、置祭田。元文宗至順三年（公元1332年）五十四代衍聖公孔思晦，請復尼山祠廟，朝議未允。元順帝二年（公元1336年），復建祠廟並塑孔子像，造禮、樂器，建觀川亭和尼山書院。薦舉彭為書院山長。名永樂十五年（公元1417年），五十九代衍聖公孔彥縉增修啟聖殿及寢殿，建成現在的規模，明清以來又多次重修。
尼山孔廟，建於山之東麓的高臺之上，***分三進、五院，重堂疊閣、柏松蒼翠蓊郁。其正門為欞星門，二門為大成門，其後的正殿亦名大成殿，是廟內的主體建築。黃色琉璃瓦覆頂，飛檐翹角，殿前石柱之上，精雕雲龍和花卉，宏偉壯觀。殿前豎有元至五年（公元1339年）翰林院編修國子助教陳繹曾撰文《尼山書院銘》碑，和元至正十四年（公元1354年）國子監監丞危素撰文的《尼山大成殿四公配享記》碑，是研究尼山孔廟歷史沿革，祀廟情況的重要資料。大成殿後為寢殿，東西兩廡各五間。殿兩旁的東西兩跨院，各有門相通，東為毓聖侯祠（即尼山神祠），西為仿北京國子監形建造的尼山書院。明朝文人孔承慶曾贊美書院題詩，“盤石重夢何處家，山深茅屋隔煙霞。幽人讀罷無余事，紗帽籠頭自煮茶。” 尼山孔子廟北，有壹幽深峭壑，據《闕裏誌·尼山》載：“中鋒之麓有先聖廟，廟北為中和壑。”《禮記·中庸》有：“喜怒哀樂之未發謂之中，發而皆中節謂之和……致中和，天地位焉，萬物育焉。”壑即以此取名。“中和是喻孔子的思想可使萬事達於和諧的境界。中和壑又名“尼山硯溝”，用這裏的石頭制硯，石質致密，潤澤而發黑。“尼山石硯”為著名的魯硯之壹，名遐中外。
跨越智源溪尼山之東對面即為“顏母山”，據《鄒縣誌·山川》載：“顏母山縣東北距城50裏在尼山之東三裏。兩山相對中隔沂水，上有顏母井及祠堂基址。”鄒縣縣令婁壹均曾有詩記述：“昌平鄉望壹峰孤，天去嶙峋尺五無。子禱尼丘名字起，母因顏姓此山呼。”另《鄒縣續誌·方域誌·古跡》載：“顏母井在城東北顏母山麓。舊有祠廟，今，惟井尚存，相傳孔子母顏氏所汲井也。”顏母山麓有文德林，“尼山神”被封“毓聖侯”。毓即產生之意，是謂孕育聖人之神，故封為侯，文德林即毓聖侯之林。這些古跡大抵皆後起之名，惟有尼山堪稱為原始的聖跡。古人祈禱山川生子，自是壹種風俗，今人崇仰景慕尼山，皆因崇仰偉大先哲孔子的原因，亦不失為對桑梓熱愛恭敬之意。