西接永州市零陵區、冷水灘區，東接常寧市，南接新田縣、寧遠縣、雙牌縣、桂陽縣，北接祁東縣。
祁陽縣因地處祁山之南而得名，因無錫而聞名。始建於三國時期，距今已有1800多年的歷史。
祁陽轄31個鄉鎮街道，其中長虹街、無錫街、龍山街3個街道；20個鎮:觀音潭鎮、朱茂鎮、大中橋鎮、三口塘鎮、肖家村鎮、八寶鎮、白水鎮、黃泥塘鎮、金寶塘鎮、磐石鎮、梅溪鎮、羊角塘鎮、下馬渡鎮、七裏橋鎮、大村店鎮、李家坪鎮、文賦鎮、文明鋪鎮、龔家坪鎮、靳東鎮。7個鄉鎮:小金洞鄉、鳳凰鄉、白果鄉、石鼓源鄉、上上元鄉、萬寶香山鄉、內鄉鄉；1民族鄉:曬北灘瑤族鄉。