位於河南省最北部太行山東麓，豫、晉、冀三省交界處，河南省最北部太行山東麓，豫、晉、冀三省交匯處，西與山西省平順縣接壤，北隔漳河與河北省涉縣接壤。
林州市多山，山地丘陵占86%。地勢西北高，東南低。境內海拔最高的是四方腦(海拔1632米)，海拔最低的位於五龍鎮東北部，市區海拔306.8米。林州位於太行山東麓，屬於華北地震帶。
林州是人造天河——紅旗渠的故鄉，紅旗渠精神的發祥地。紅旗渠太行大峽谷旅遊區是國家5A級景區。
林州市風景優美，有許多名勝古跡。境內的呂林以其美麗的山峰、陡峭的懸崖、郁郁蔥蔥的樹木、瀑布、流動的泉水和奇異的風景而聞名。是北雄最好的風景，是八百裏太行山的靈魂。它是國家重點風景名勝區。
這裏有千古之謎、豬的名字叫石頭、酷暑凍背、三九嚴寒開桃花谷、黃花倒水黃華山等自然奇觀。