清光緒二十八年（1902年），清政府創辦三江師範學堂，並於學堂設藏書樓，薈萃中外書籍和各種圖冊，以供師生瀏覽。清光緒三十壹年（1905 年），學校更名兩江師範優級學堂，至1913年二次革命時，亂兵土匪乘機掠奪，校產蕩然，書籍亦僅存十之壹二。1915年成立南京高等師範學院，1920年 更名為國立東南大學。1923年國立東南大學圖書館館舍毀於火，圖書同燼。
1924年，齊孟芳先生捐資建成新館，曾命名為“孟芳圖書館”，1928年去齊氏名，仍隨學校命名。1927年學校更名為第四中山大學，1928年復更名江蘇大學，旋又改稱中央大學，圖書館亦隨學校易名。1924年後，中央大學圖書館的藏書逐漸豐富，至1937年5月，已有中外文書刊***計407203冊，其中中文圖書117846冊。
自1888年起，美國教會陸續在南京建立了匯文、基督和益智等書院，後經幾次合並，於1910年成立金陵大學堂，1915年改名金陵大學校，不久改稱金陵大學，並於1916年遷至鼓樓新址。
1910年，金陵大學堂圖書館在原各書院圖書室的基礎上建成，當時僅有西文書2250冊。因金陵大學是教會學校，故受歷次動亂影響較小，圖書館藏書建設發展較穩定。至1927年11月收回教育權運動後，學校基本脫離了教會，改歸教育部主管。
1929年建立了文、理、農三學院及中國文化研究所等教學科研機構，圖書館藏書也從數量到質量都有了較大的提高。1937年6月統計藏書量已達322369冊，其中中文圖書有106769冊，與當時國立中央大學圖書館藏書基本上旗鼓相當。
1937年7月抗日戰爭全面爆發，南京各機關學校奉命內遷。中央大學因早有準備，故圖書設備均基本搬遷，但輾轉於戰亂之世，難免流離損失嚴重。到重慶後，又進行了補充，至1944年統計，已有中文藏書121679冊。金陵大學因與教會淵源很深，故壹度存有幻想，及至形勢緊迫，乃倉促西遷，圖書僅運出十分之壹，而留存南京校區的圖書於1942年被偽立中央大學占用，故已蕩然無存。抗戰時期，在成都雖努力補充，但壹時難以恢復，至1943年統計，中文藏書僅有16368 冊。1949年中央大學改名為南京大學，1952年南京學區院系調整，金陵大學圖書館文理科藏書並入南京大學，調整後的南京大學圖書館有藏書***73萬余冊。
1979年擴建了新館，館舍面積*** 2萬平米，工作人員 130人。全館***設閱覽室10多個，1300席座位，年接待讀者 100萬人次以上。
至2002年底館藏總數達 407萬冊。館藏古籍線裝書30多萬冊，其中列入全國善本書目的有 556種， 1萬余冊。地方誌***藏4000余種，近 4萬冊，在全國各大圖書館中處領先地位。本館收藏了80多個國家和地區20多個語種的期刊，尤以物理、生物、地學、數學、東方學為特色。南大圖書館是教育部建設的全國高校的地科(地質、地理、氣象、天文、環境科學)教材中心、文科文獻中心，經多年努力進壹步增加了館藏內容和特色。
1994年，建立了浦口校區分館，藏書已達到30余萬冊。至2007年，分館藏書已達到34萬冊。2007年5月，面積 3.05萬平方米的浦口校區新館―思源圖書館建成並開放。至2007年12月止，南京大學圖書館（含浦口校區思源圖書館）***有閱覽室20個，閱覽座位 3000 席，館舍總面積約5萬平方米，工作人員130余人。2009年9月1日，仙林校區杜廈圖書館正式投入使用。
1998年底，我館全面更新了圖書館管理系統，使用由江蘇匯文軟件公司開發的新壹代圖書館管理系統“匯文”系統，實現了圖書館管理的全面計算機化。到2002年5月為止，全校已有化學化工學院、建築研究所、國際商學院、物理系等10多個院系資料室納入圖書館的計算機系統統壹管理；自2003年3月5日起，實現總館和浦口分館圖書的異地借還。
隨著中國高等教育文獻保障系統(CALIS)和江蘇省高等教育文獻保障系統（JALIS）的建設,南京大學圖書館成為中國高等教育文獻保障系統(CALIS)華東北地區中心和江蘇省高等教育文獻保障系統（JALIS）的管理中心，承擔起為華東北地區（江蘇、山東、安徽三省）的高等院校提供信息服務、協作、資源***享、管理的重任。
1999年“985項目”4000萬圖書經費的支持，經3年的努力，南大圖書館電子資源大幅度增加，萬種以上的中外文全文電子期刊提供方便快捷的網上服務，使最新學術資源比原來增加了2倍以上。學習、工作、服務環境大大改善，改進了師生上網環境和提高了獲取知識、信息的深度與廣度。
2001年6月起，為了迎接南京大學百年校慶，進壹步改善服務環境，對現有的館舍進行了大規模的改造擴建，2002年百年校慶之際，南京大學圖書館以嶄新的面貌，迎接讀者。
2002年百年校慶以後，為加快南京大學建設國際壹流大學的需要，浦口校區新館的建設已經列入計劃，開始前期準備工作。