1952年7月22日，上海圖書館在南京西路325號開館，標誌著上海的圖書館事業在新中國成立後邁出了具有歷史性的壹步。
上海科學技術情報研究所是壹個綜合性情報研究和文獻服務單位，成立於1958年。
1958年，又與上海歷史文獻圖書館（前身為1939年葉景葵、張元濟等創辦專事收藏古籍的上海私立合眾圖書館）、上海科技圖書館、上海報刊圖書館合並，建成新的上海圖書館。
1995年10月上海圖書館與上海科學技術情報研究所合並，成為國內第壹個省（市）級圖書情報聯合體。
上海圖書館新館1993年奠基動工，1996年12月正式對外開放。其占地面積為3.1公頃，建築面積8.3萬平方米。多維臺階式塊體頂部造型如同自然生長的臺階，象征著文化的積澱和人類向知識高峰的不斷攀登。