長治市圖書館創建於1946年10月18日，原名為“太行區公立長治圖書館”。
進入二十壹世紀後，為了適應長治市經濟建設和社會發展的需要，長治市委、市政府在太行西街178號，新征土地18畝，新建壹座現代化的圖書館大樓。成為山西省全省（除太原市外）其它十個地市藏書品種數量最多，館舍面積最大、現代化設備最新，服務功能最全的現代化公***圖書館。
據1995年出版的《長治市誌》記載，長治市圖書館的前身可以追溯到民國18年（1929），長治縣有識之士出資1萬銀元，在蓮花池聖泉寺後院修建壹座名為“嫏 福地”藏書樓，收書8700余冊，成為長治第壹座圖書館。開館後受到廣大群眾、社會各方人士的慶賀和贊助。民國22年，程如壁將祖遺宋、元、明、清各朝數千冊原版書籍獻給圖書館。民國28年日軍侵占長治後，圖書被搶，圖書館被毀。
1945年10月長治解放，1946年1月中***長治市委成立。作為晉冀魯豫政治、經濟、文化中心之壹的長治，於10月18日正式成立“太行區公立長治圖書館”，這是建國前全國當時為數不多的55個公***圖書館之壹。館藏來源主要是：抗日軍政學院捐贈；鄰近各縣奉送；土改中的鬥爭果實（地主藏書）；外地交換。藏書最多時曾達75000余冊，是晉冀魯豫解放區藏書最豐富的圖書館，當時就頗有名氣。從黑龍江的哈爾濱壹直到十月革命發源地——蘇聯，從香港、馬來西亞，壹直到仰光，對方壹聽是太行地區的圖書館，都樂意與建立交換關系。
全國解放前夕，長治館館藏圖書中的壹部分遷往河北邯鄲，留下壹部分改名為“大眾閱覽室”，館址仍設在市中心蓮花池“嫏福地”藏書樓。
1954年，“大眾閱覽室”又更名為“長治市人民圖書室”。
1957年館址遷至英雄街78號，改為“長治市人民圖書館”。
1970年機構改革時，圖書館、文化館、博物館、工人文化宮、省文物工作組合並為“長治市文化工作站”。
1972年市政府批準恢復“長治市圖書館”建制至今。1978年，該館在原址（英雄街78號）進行擴建，占地面積1890平方米（約2.6畝），三進院落，後院新蓋了書庫、辦公室二層小樓，加上原有平房，總建築面積為920平方米。館內增設了社會科學、青少年、科技3個閱覽室，擴大了借閱陣地，使借閱面積達到200平方米，閱覽座位增至150個，年訂閱各種報刊700余種，書庫總面積為400平方米，分為流通庫、基藏庫、古籍庫和資料庫。館內綠樹成蔭、鳥語花香、讀書宜人，成為當時山西省小有名氣的圖書館。
2005年新館大樓落成並對外開放，***四層總建築面積1000平方米，總投資3526.55萬元。本館大樓內分讀者閱覽區、自修區、休息區、研究區、工作區、培訓區。黨群機構設黨支部、團支部、工會、婦會、計生辦。業務機構暫設采編部、報刊部、借閱部、少兒部、特藏部、自動化部、古籍部、輔導部、***享工程分中心為“八部壹中心“。行政機構設辦公室、物業中心、保衛科等職能部門。