棲霞寺建於南北朝齊永明七年。原為南齊隱士邵的私宅，後屋由禪師主持。梁和尚郎被譽為江南三論宗的始祖。隋文帝在八十三州建佛塔，其佛塔由江州棲霞寺所建。棲霞寺在歷史上數次更名。原名棲霞精舍。在唐代，它改名為功德寺和陰軍棲霞寺。南唐時，在棲霞寺重建，改名苗銀寺。到了宋代，改名普雲寺、棲霞寺，顏銀崇報佛寺、景德鎮棲霞寺、虎穴寺(因棲霞山故又稱虎穴山)。明洪武五年改名棲霞寺。清末，太平天國與清兵作戰，棲霞寺毀於戰火。現存的寺廟是1919重建的。
寺內主要建築有山門、彌勒佛殿、毗盧寶殿、法堂、佛堂、佛經樓、渡海大師紀念館和佛塔。寺前有阿明·惠均紀念碑，寺後有許多名勝古跡，如千佛巖。棲霞寺佛塔建於隋代，是壹座八角形的五層石塔。千佛崖石窟始鑿於南齊永明七年。經過幾代鑿刻，有515尊佛像。棲霞天妃壁畫是在2000年的考古研究中發現的，是目前在千佛巖中發現的唯壹保存完好的壁畫。