1901年，山東大學堂成立，下設藏書樓，這是我國較早的近代新型圖書館之壹，也是山東大學圖書館歷史的發端。
1924年，私立青島大學在青島成立，下設圖書館，至1928年因經費斷絕停辦。私立青島大學是山東大學歷史的重要組成部分，其校產和圖書後來也成為了山東大學的財產。
1926年奉系軍閥張宗昌建立省立山東大學，1928年4月北伐軍進山東，張宗昌倒臺，學校停辦。
1930年9月21日，國立山東大學在青島建立，首任校長楊振聲和圖書館館長梁實秋為圖書館的工作傾註了大量心血。國立山東大學圖書館成立於1929年12月，從前私立青島大學和原省立山東大學接收過來壹批藏書，為數極少，而大半是舊日課本，多不適用，故大量采購中外文圖書，至1936年度，圖書總數已達87805冊。其中中文圖書65287冊，外文圖書22518冊，中外文雜誌1208種，54116冊。至1935年度，圖書用費***計213383.54元，占同期經費支出的8%。
抗日戰爭爆發後，1937年11月學校被迫由青島遷往安慶，不久又遷至四川萬縣。圖書、儀器、案卷等分三批運出：第壹批257箱運至西安，旋又轉運萬縣（宜昌）；第二批837箱運至浦口，因南京失陷，全部丟失；第三批16箱運至漢口，轉運萬縣。日軍占領青島後，將全部校舍作為海軍司令部，未及運走的圖書、儀器、家具等物，全部被焚毀。1938年2月23日，國民政府教育部下令“將國立山東大學暫行停辦”，圖書暫交國立中央圖書館保管使用。
抗日戰爭勝利後，山東大學於1946年2月開始在青島復校。遷往四川的圖書儀器至10月底始運回，總計圖書九十余箱，其中西文書3398冊，線裝書5166冊。後學校接管德日文書籍6674冊，代管中國工程學會日文書籍5349冊，又有私人贈書約2000冊，復購到中西文圖書8321冊，至此稍有充實。
1949年6月2日青島解放，山東大學被人民政府接管。1958年學校由青島遷往濟南，圖書館也搬遷到濟南。
1966年，圖書館藏書達100余萬冊。據1979年的清理和查點，學校藏書總量達150萬冊。其中中文80萬冊，線裝40萬冊，外文20萬冊，期刊合訂本10萬冊。1986年學校藏書量達185萬冊。
至2000年，圖書館有新老校兩個館舍，外加邵逸夫科學館的壹部分，面積達16000平方米，設17個閱鑒室，有閱覽座位1400個，圖書借書口4個，近70萬冊藏書已實現開架借閱。圖書館現有藏書230萬冊，其中中文書刊123萬冊，外文書刊12萬冊，其余藏書分布在25個系（所）圖書室中。山東大學圖書館已是國家CALIS項目在山東省綜合高校圖書館中的唯壹成員館。 山東醫科大學圖書館的前身是齊魯大學奧古斯丁圖書館和山東醫學院圖書館。
1903年，英美基督教會召開會議，決定將山東省內的三個教會醫學學校合並為“***合醫道學堂”，學堂內藏書也壹並劃入，山東醫科大學圖書館的歷史就此開始。圖書館初建時藏書數量非常有限，大多是傳教士從國外帶來的英文原版圖書,內容除神學外,以自然科學和醫學居多。
1917年，齊魯大學正式建立，委派奚爾恩擔任館長，他聘請王天綱先生辦理全館事務。在他任職期間,為圖書館做了大量工作,總館之外設置分館,還策劃籌備新館建設。1922年,由加拿大危培革(Winnipeg)奧古斯丁(Augustine)長老會支會捐贈巨款修建的奧古斯丁圖書館（原址位於山東大學趵突泉校區教學七樓）竣工投入使用，巴達那繼任圖書館主任。1922年,中國第壹位獲得美國圖書館學博士學位的桂質柏先生擔任齊魯大學圖書館主任。後來,他擔任國立中央大學圖書館主任,1935年出版《分類大全》壹書。1926年,皮高品任齊魯大學圖書館主任,針對當時杜威十進分類法的不足,他在任職期間收集資料,刻苦研究,為後來編纂新分類法打下良好基礎。
1930年，齊魯大學國學研究所建立，成為當時全國最早設立的國學研究機構。先後有老舍、顧頡剛、錢穆、嚴耕望、郝立權、余天庥、王敦化、範迪瑞等知名學者在所研究,壹度成為全國國學研究的重地。同時，齊魯大學順應文化界“整理國故”思潮湧動的大勢，利用美國霍爾基金贊助，成為參與哈佛燕京學社國學教育與研究計劃的六所教會大學之壹，獲得15萬美元專項經費。國學研究所對圖書資料非常重視，第壹年添購的圖書使藏書量增長了近兩倍。
據齊魯大學1936年6月統計，圖書館館藏已達11.8萬余冊。1937年藏書量保守估計也超過了12萬冊，其中大部分為利用哈佛燕京學社經費購得。這是奧古斯丁圖書館藏書量最豐富的時期。圖書館管理非常到位，古籍均有青布四合函套,保存之善,堪稱上乘。1932年檢查結果顯示，1922年以來全館損失中英文書籍僅八十余冊，平均每年損失8-9冊。
抗日戰爭爆發後,齊魯大學遷往成都，但圖書資料並未隨往,經過壹段時間的重新購置,據1940年國學研究所年度報告記載,中文圖書中有不少珍本,為國學研究所的教學和研究提供了基本條件。抗日戰爭勝利後,齊魯大學遷回濟南,搬遷中圖書資料損失達20000余冊。在接下來的兩年中,由於物價上漲,國學研究所經費不足,圖書增量很少,以後經費漸得恢復,藏書量壹度達到118000余冊。
1952年，齊魯大學在院系調整中解體撤銷，奧古斯丁圖書館解散，近14萬冊藏書中有10萬冊由山東師範學院（今山東師範大學）接收，醫學類藏書和館舍由山東醫學院繼承，此外山東大學也接收了壹批藏書。
1932年8月，山東省立醫學專科學校在濟南建立。學校藏書以德語和日語文獻為主。抗日戰爭期間學校遷往四川萬縣，1946年10月歸濟，1948年8月18日更名為山東省立醫學院，同年9月24日被濟南特別市軍事管制委員會接管，11月並入華東白求恩醫學院。
1944年10月16日，新四軍軍醫學校在安徽淮南新浦鎮建立，1947年1月發展為華東白求恩醫學院。學院通過宋慶齡先生獲得了聯合國善後救濟總署提供的壹批圖書資料。1948年11月合並山東省立醫學院，1950年12月更名為山東醫學院。
1952年，齊魯大學醫學院與山東醫學院合並組建新山東醫學院。新組建的山東醫學院圖書館位於原奧古斯丁圖書館館址，面積約800平方米，藏書3.17萬余冊，訂購中外雜誌369種，工作人員13人，孫紹謙教授兼任館長。1954年圖書館遷入康穆禮拜堂，1963年遷入新建成的教學八樓壹、二層。1965年藏書18.92萬余冊，訂購中外雜誌987種。“文化大革命”期間圖書館壹度關閉，後又隨著學校四處搬遷，建立樓德分院時撥出了壹部分，因而受到很大損失，1976年藏書27.46萬冊，訂購中外雜誌607種。
1981年圖書館新樓落成，建築面積6721平方米，其中書庫2100平方米。1985年更名為山東醫科大學圖書館。1986年舊書剔除工作完成後藏書39.53萬冊。1991年藏書量為：中文231312冊、外文86837冊、合訂本期刊86158冊。
1993年，山東醫科大學圖書館被確定為首批衛生部醫藥衛生科技項目查新咨詢委托單位。 1951年，山東工學院正式成立，截至1959年，圖書館藏書261600冊。
1983年9月19日，山東工學院更名為山東工業大學，此後學校興建了新圖書館。
截至2000年7月，學校圖書館藏書84萬冊。