漢武帝登上嵩山，下令修建寺廟。北魏時改名。唐宋時期多次擴建。明朝崇禎十七年(1644)，毀於大火。它是清乾隆年間重建的。現存寺廟體系基本保留了清代重建後的規模。
寺廟依山而建，由南向北壹步步升高。寺院南北長650米，東西寬166米，占地110000平方米。中軸線上有十壹座建築，依次為中華門、藥殘閣、天中閣、裴天佐鎮廣場、崇聖門、花滿門、軍吉門、高松軍吉坊、中嶽殿、寢宮、禦書樓。在寺廟的東、西路上，還有太尉宮、火神宮、祖師宮、蕭樓宮、神州宮、王龍宮等小院落。
中嶽殿的主殿是中嶽殿，也叫季峻殿。九堂寬，五堂深，占地1，000平方米。是全寺最大的大殿，也是嵩山最大的建築。大殿為重檐、屋頂式建築，覆蓋黃色琉璃瓦，椽子、飛檐鬥拱、梁頂都塗有清代最尊貴的篆色。神社內供奉著壹尊高5米的“崇聖天王”(即中嶽皇帝)雕像，兩旁是朝臣和鎮館將軍。
在中嶽廟軍吉門的東側，有宋忠躍高陵廟的紀念碑。碑文為北魏嵩山道士寇所寫，刻於北魏太安二年(456)。它是嵩山最古老的石碑。中嶽廟內文物眾多，如銅器、宋代鐵人、晉代中嶽廟碑、晉明鐵獅子、明代吳越碑等。該寺已被列為全國重點文物保護單位。
中嶽寺每年農歷三月和十月有兩次傳統廟會。
中嶽廟現為全國重點道觀，河南省道教協會所在地。
胡主編:《中國道教大辭典》(北京:中國社會科學出版社，1995)，第1669頁，“嵩山中嶽廟”。《中國道教》(上海:知識出版社，1994)，第四卷，知識出版社(上海)，1994，第258-259頁。道教聖地建築群遺產泰山(1987)武夷山(1999)文化遺產武當山古建築群(1994)廬山國家風景名勝區(1996)青城山與都江堰(2000)登封“天地之中”歷史。自然遺產三清山國家風景名勝區(2008)中國丹霞(含廣東丹霞山和江西龍虎山，2010)？