張謇邀請南通師範培養的中國近代建築史上最早的著名建築師孫支夏設計圖書館，他提出具體構想、要求，由孫支夏繪出設計圖紙，他再提出修改意見，這些珍貴的留有張謇墨跡的建築圖紙至今保留在南通博物苑。
張謇首先做出表率，他把自己的藏書整理後大部分送圖書館。張謇向來主張，國家私家藏書應“公諸於天下”，他總覺得藏書傳給自家子孫，總有壹天不能保存，與其給子孫三文不值二文的零賣，不如供給地方多數人去享受。在張謇的努力經營下，圖書館開館之初，已有圖書近十萬卷，幾年後即增至十四萬卷。張謇非常重視目錄工作，並親自寫信，聘請碩學之士主持編寫，南通圖書館在20年代初藏書已達十四萬卷，大小館舍達67間，可謂中國縣級圖書館之最，私立公***圖書館之最。在1929年並入了南通學院。據理逸航（時任南通圖書館館長）年譜記載，當時圖書館藏書23萬冊。從此圖書館處於保管、封存狀態。1938年，南通圖書館為防止戰乩破壞，將8萬多卷古籍轉移至城內天寧寺光孝塔北側藏經樓保存，外面堆放壹些佛教經書作掩護，並請寺內和尚看護。 1952年南通市政府決定重建南通圖書館。1953年1月，圖書館定名為南通市人民圖書館，劉谷風任副館長主持工作。並借用中蘇友協俄語教室（現南通博物苑張謇故居濠南別業）先行開展閱覽工作，有閱覽座位40多個。7月，省文化局指示圖書館定名“江蘇省南通圖書館”。圖書館館舍為四合院民居，閱覽室約30余平方米，借書處60平方米，設置有圖書采編部、圖書推廣部和閱覽室，訂有報紙20余種，雜誌40余種，閱覽座位40余個，藏書1萬余冊，發放借書證1500張。
1957年經南通市政府批準，南通圖書館更名為“南通市圖書館”，遷回市區，館址在原“南通圖書館”舊址偏北，濠面別業西樓及其附屬平房約40間，館舍面積約1000平方米。西樓二樓為借書處和書庫，三樓為閱覽室和辦公室。1957年，郭沫若為“南通市圖書館”題寫館名。在此先後，蔣雲卿、蔡觀明、閔成鈞、費範九、馮瀚飛等人贈送壹批古籍給圖書館，其中蔣贈書2000余冊，馮贈書中有元刻明印《隋史》1冊（後被定為全國善本）、明版《水經註》、《黃帝內經》等600余冊。圖書館藏已達36萬冊，其中古籍10萬冊，發放借書證6千多張。圖書館還負責輔導建立工廠圖書館（室）43個，流通站49個，市圖書館室（站）達到281個。 十壹屆三中全會以後，中國迎來了改革開放的新時代，南通市圖書館也進入了壹個新的發展時期。1979年圖書館綜合大樓建成，新樓使用面積1500平方米，有書庫五層，閱覽室10個。1982年，圖書館古籍藏書樓靜海樓竣工，這是建國後全國公***圖書館系統建成的第壹座專用古籍藏書樓。靜海樓使用面積1348平方米，底層設有500個座位的會場，三、四層為古籍書庫，五層為外賓接待室和小會議室。這壹時期，南通市圖書館無論從館舍面積、藏書量、職工隊伍素質、讀者服務工作等等方面，在省轄市公***圖書館中都處於前列。在取得較好社會效益的同時，市圖書館還努力挖掘潛力，改善辦館條件，實現傳統圖書館向現代化圖書館的轉型，建立了有30多臺電腦的電子閱覽室，並在業務部門配置電腦，圖書借閱、分類編目首先實現計算機管理，開通了南通市圖書館網站，讀者登陸網站可以檢索部分館藏書目。