1905年11月，山東省學務處議員宋恕擬就《粹化學堂辦法》，上書山東巡撫楊士驤，請求在山東創辦“粹化學堂”，同時請創建“海岱大圖書館”及閱報室，不久又提議，將圖書館及閱報室設在大明湖公園內。此動議後因經費緊張及宋恕、楊士驤先後離開山東，未及實現。
1909年，圖書館建於大明湖畔，典型的館園結合式建築，是全國建立較早的省級公***圖書館之壹，初建時稱“山東圖書館”。圖書館創辦之初實行坐辦制，1913年9月改為館長制。
1915年冬，改館名為“山東公立圖書館”，隸屬山東省長公署。
圖書館早期典藏包括四部分：壹是書籍，購置各省官書局出版之書，家刻坊版之善本，或以館中自印書籍與各省官書局交換。1916年館藏13萬卷。此後受經費所限，加之1928年“五三慘案”，藏書遭炮擊，損失大半，僅余62770冊；二是金石古物，設山東金石保存所儲之；三是書畫碑帖，羅正鈞以提學使名義，通飭各縣，就所在石刻，每石拓送壹份；四是書板，包括山東官書局版片，仍照舊印售，凡書106種，16983片。編有《山東圖書館辛亥年藏書目錄》、《山東圖書館重編書目》等。
1929年夏，山東圖書館改稱山東省立圖書館，隸屬於省教育廳。時任山東省教育廳廳長何思源任命著名學者王獻唐為山東省立圖書館館長。王履新後，即著手改組，重新厘定工作計劃，修訂館章，清點館藏，修繕館舍，申請經費，購置新書，註重齊魯鄉邦文獻的收藏。自是年起至1937年抗戰爆發前夕，山東省圖書館迎來了壹段事業上的輝煌時期。孔德成先生在1994年撰寫的《王獻唐先生墓表》中稱：“不數年，館譽鵲起，當時蓋以為僅次北平圖書館雲。”
1931年創辦《山東省立圖書館季刊》和《山東省立圖書館叢刊》，為使新舊圖書分類收藏，各適其位，索檢便捷，1932年編成《山東省立圖書館圖書分類法》。 抗日戰爭爆發後，省圖書館的建築、設備、藏書都遭到了嚴重損失。1937年12月，日軍侵占濟南，該館慘遭搶掠焚燒，玉佩橋以東的“海嶽樓”、“宏雅閣”等建築全部付之壹炬，留存館內的圖書文物損毀殆盡。
1938年5月起，日偽政權派人修理殘毀房屋，在“海嶽樓”舊址改建“抱壁堂”，搜集散佚圖書，補充新舊書籍。
為使珍貴典籍文物免遭塗炭，王獻唐與屈萬裏選善本及金石書畫精品裝為三十壹箱，分別於1937年10月12日至15日、10月23日、12月20日，分三批運至曲阜孔德成奉祀官府內。又從第壹次所運十箱中選出宋元秘本、唐人寫經、商周銅器、秦漢瓦當、明清瓷器等裝成五箱（余留奉祀官府），於1937年12月27日，王獻唐、屈萬裏與工友李義貴三人攜載遠徙。
途經銅山、鄭州、武漢，在四川萬縣停留數月，於1938年11月24日，終將圖書文物運至樂山大佛寺天後宮中保存，行程凡七千余裏。抗戰勝利後，被國民黨軍隊占據，先為行轅，後為軍火倉庫。
在經歷了十余年的戰火與各種困難局面的考驗之後，1950年底，保存在曲阜、樂山兩地的珍籍文物完好運回故裏，王獻唐等人受到文化部的表彰。因歷史原因，這批珍貴文物分藏在該館和山東省博物館。 1948年9月，濟南解放，經過整頓修復，於1949年4月正式開館，先隸屬山東省文教廳，後隸屬山東省文化廳。館內設采編、圖書保管、閱覽、書目參考、特藏、研究輔導6部和辦公室。
1959年，該館面積達8000平米的“遐園”除抱璧堂外連同古碑刻被劃撥給大明湖公園，原有建築全部拆除，金石碑刻也在文革中被破壞。1963年在奎虛書藏樓前建青磚圍墻與公園隔開，中間以飛檐大門相通。
該館恢復開館之初，館內殘存的書籍加上壹部分國民黨官僚機構和私人藏書以及新購圖書，***計30余萬冊。為了盡快將這些書分編上架，1949年7月，副館長劉惠吾主持編寫了《山東省立圖書館分類新法》，1950年1月推出油印本。它是是建國後編制最早的圖書分類法之壹，被稱為“山東法”。這壹時期，該館通過擴大館內外閱覽場所、組織讀書小組、興建圖書閱覽站、延長開放時間等壹系列措施，以及舉辦報告會、朗誦會、座談會，辦讀者墻報等活動。同時舉辦各類業務學習班。
1952年，更名為“山東省圖書館”。多年來采用閱覽、外借、解答咨詢、復制、舉辦展覽會、報告會等形式為社會服務。
歷時十載的“文化大革命”使圖書館事業遭到極大破壞，該館業務工作基本上處於淹蹇停滯狀態，直至文革結束。 1974年，建成了建築面積2000平方米的書庫樓。
1979年6月成立了山東省圖書館學會，涵蓋全省公***、高校、科研等系統的圖書情報單位。1981年9月，創辦《山東圖書館季刊》。
1984年9月，新建的閱覽樓正式啟用，設有普通閱覽室2個，中文報紙、中文期刊閱覽室各1個，外文、文獻檢索、古籍閱覽室各1個，社會科學、自然科學借書室各1個。
1985年，有閱覽座位600余個，持證讀者2.2萬余人，藏書330萬冊，館舍面積約1.04萬平方米，工作人員117人，年經費109萬元。
1994年引進圖書館自動化管理系統，1995年建立光盤數據檢索系統，1997年組建了局域網，1999年建立電子閱覽室，2000年擴充了計算機網絡。主編《社會主義精神文明文獻索引》，編纂《易學書目》、《山東省圖書館館藏海源閣書目》、《館藏革命文獻書目》等。
2002年10月8日，山東省圖書館新館開館典禮在新館知識廣場舉行。由中國國家圖書館與山東省圖書館聯合建設的“全國聯合編目中心---山東省分中心”於2003年8月8日正式成立。
2004年11月13日順利通過文化部全國公***圖書館評估定級，被定級為壹級圖書館。