礫巖經過風化剝蝕，形成之字形山脊，發育成多達56座小山，其中有靈山、歪頭山等七八座山峰。島的東南部受海水侵蝕，形成了虎口、象鼻山、石秀才等獨特的海蝕地貌，具有很高的觀賞價值。
島上有壹座浮亭，位於城子口村，是靈山島的標誌性建築。這裏的望海樓是在原址上重建的。根據傳說，兀術的妹妹出家並住在尼泊爾。遊覽靈山島，必須從島西側的城子口碼頭上岸。第壹次登島，可以看到壹塊巨大的石頭立在路邊，上面寫著“水靈山島”和簡介。島上的漁民風格獨特。村莊住在懸崖上，或者在海邊，或者半藏在山澗裏。梯田、綠樹、碧海、紅瓦、藍天交相輝映。從海上望去，像壹顆華麗的翡翠漂浮在海面上，所以有“靈島浮菜”的美譽。靈山島的林地覆蓋率已達70%，是我國北方海域少有的“海上綠洲”。
據《膠州誌》記載，靈山島因有靈氣而稱靈山。也就是說，靈山島位於外海，太陽出來之前山是亮的。每當要下雨的時候，山頂上就布滿了雲。當地漁民中早就流傳著這樣壹句話“壹個戴帽子的以太人睡在靈山”。中國四大衛(天津衛、阿哈瓦、成山衛、靈山衛)之壹的靈山衛，也由此得名。靈山島於2009年被批準為國寶級種質資源保護區。附近海域水質優良。產出來的海參又大又粗又滑，比大棚和池塘養殖的好，年產量200噸。2012 8月31靈山島海參獲國家地理標誌產品認證。2014年4月，青島西海岸靈山島獲批建立國家海洋公園。