廣州圖書館的前身是市中山圖書館，建於1933年10月。1938年，廣州淪陷，圖書館關閉；1949年更名為廣州中山圖書館；廣州解放後，稱為廣州中山圖書館。1955年，省市圖書館合並為廣東中山圖書館，廣州中山圖書館原址改為廣東中山圖書館北館，稱孫中山文獻圖書館。1980年12月，廣州市委辦公會議決定建設廣州圖書館。
2006年2月，廣州圖書館新館奠基。2013年6月，廣州圖書館新館全面開館。
根據2018年11月圖書館官網信息，廣州圖書館占地面積21000平方米，總建築面積98000平方米，擁有4000個閱讀座位，14個機構部，295名員工。廣州圖書館藏書843.3萬冊(件)。