日據時期，香港和日本政府在香港大學圖書館的部分藏書和從日本購買的部分圖書的基礎上，建立了“香港市民圖書館”。日本投降後，博物館解散，藏品全部由香港大學圖書館繼承。
1962年新香港大會堂落成，並在其中建立了公共圖書館，這就是今天香港公共圖書館制度的開端。當時，公共圖書館由市政局管理。1965九龍第壹間圖書館在窩打老道落成。1974，新界首個公共圖書館在荃灣福來村落成，首個流動圖書館於1976投入服務。1983香港藝術中心藝術圖書館開館。9月1985九龍中央圖書館(現九龍公共圖書館)開幕，這是第壹座專門的圖書館建築。
1986區域市政局成立後，香港逐漸形成了兩個公共圖書館系統，壹個是市政局管理的港島九龍圖書館系統，壹個是區域市政局管理的新界圖書館系統。這兩個圖書館系統長期以來互不兼容。比如兩個系統分別發行借書證，各自有獨立的檢索系統。又如，公共圖書館開始提供跨館還書服務時，只在同壹系統內的圖書館有效。1993/94年正式實施計算機化計劃，將圖書檢索目錄系統轉換為計算機存儲，並設置了中英文兼容系統。荔枝角圖書館是首間電腦化圖書館，而市政局轄下的31間圖書館及區域市政局轄下的25間圖書館，亦於翌年全部電腦化。由7月1995至7月1，持有市政局或區域市政局圖書證的讀者可向兩局借閱書籍及資料，而無須申請新的許可證，但兩局的系統仍獨立運作。2000年，政府解散了市政局和區域市政局，兩個市政局和民政事務局原有的古物、古跡、康樂及文化職能由新成立的康樂及文化事務署接管，兩個市政局的圖書館系統合二為壹。
2001年，位於香港島灣仔區，毗鄰維多利亞公園的香港中央圖書館落成，取代了大會堂公共圖書館的“主圖書館”角色。香港公共圖書館的主要辦公室也已遷至香港中央圖書館。