廣東省立中山圖書館的前身是清末的廣雅書局的藏書樓（即現位於文德北路81號的孫中山文獻館），民國元年（1912年）創辦，初名為廣東省立圖書館。民國16年，旅居美國、加拿大、墨西哥、古巴等地的華僑為紀念孫中山先生，集資興建了廣州市中山圖書館，民國22年落成。1955年，廣東省立圖書館和廣州市中山圖書館合並，改名為廣東省立中山圖書館。1986年，廣東省立中山圖書館整體搬遷到文明路213號新館後，原館改稱為孫中山文獻館。
2006年12月10日，經廣東省政府立項，投資了5億元人民幣的中山圖書館擴建工程正式動工興建，按照計劃，工程的壹半為中山圖書館目前的位置，另壹半為將搬遷至珠江新城新館的廣東省博物館位置。整個擴建項目將於2007年完成壹期工程建設，預計2010年全部完成。改造後的圖書館各館加起來的總占地面積將達到6.8萬平方米，建築總面積達到103,599萬平方米，將成為中國最大的省級公***圖書館。屆時，中圖的最終藏書量將可達800萬冊，讀者座位將增至4000個，日均接待讀者可達1.5萬人次。
為配合擴建工程，位於文明路的中圖正門從2006年12月起封閉。先只開放了位於德政中路的西門給讀者進出。2007年開始，中圖貼出告示，暫時關閉了電子閱覽室，而且部分閱覽室的開放時間亦相應縮短，中間部分時段更出現閉館的情況。目前原文明路總館的各項服務全部轉移到桂花分館，其他業務的分布在大學城特藏部閱覽室（普通古籍、地方誌、叢書、影音古籍）、桂花分館（中文圖書、期刊外文圖書、期刊）、文德分館（廣東地方文獻、民國平裝書、期刊），而文明路總館則保留提供各種數字資源，包含古籍與解放前報紙縮微資料。文明路總館預計在2009年10月份完成建設。
持續五年、作為十壹五規劃重大項目的首期擴建工程於2010年完成，圖書館並於2010年12月31日舉行竣工暨開館儀式，讀者可使用羊城通電子卡等電子卡借閱圖書。