清光緒二十五年（1899年）中秀才，二十八年中舉人。先後任教於硤石開智學堂、桐鄉桐溪學堂、嘉興府中學堂和秀水學堂，以講授地理出名。三十三年應聘至浙江高等學堂任教，又兼教於兩級師範學堂和杭州府中學。在兩級師範，與魯迅、許壽裳壹起領導反對封建頑固的監督夏振武（綽號“木瓜”）的鬥爭，號稱“木瓜之役”。宣統二年（1910年）赴北京應試，得壹等，任大理院推事兼教清華學堂地理課。辛亥革命後，在浙江軍政府教育司工作。民國3年（1914年）進京任教育部視學，與魯迅、朱宗萊、單不庵等鉆研古籍。民國4年參加反對袁世凱稱帝運動。後兼任京師圖書館主任，負責整理故宮移來的大量古籍，“日拂拭灰土中”，埋頭兩年，成《善本書目》4卷，糾正了過去著錄的不少訛漏。民國11年南返杭州，任浙江教育廳廳長。鑒於文瀾閣《四庫全書》在戰亂中受損，迄未恢復，乃奔走滬杭募款，組織人力去北京補抄。歷時兩年，抄得4497卷，補齊殘缺。當時實行中等學校三三制，他悉心推行新學制，整頓教育，並籌建浙江大學。民國14年調任甌海道尹。民國15年冬，定居上海，專事抄校古籍。民國20年，赴漢口任平漢鐵路局秘書。抗戰期間隨局內遷。後到重慶，任職於交通部，不久，入中國農民銀行。並擔任文瀾閣《四庫全書》保管委員會委員，對該書在抗戰中安全轉移和勝利後運回杭州出力不少。抗戰勝利後，回到上海。上海解放前夕，拒絕隨農民銀行去香港。建國後，歷任浙江圖書館館長、浙江省文史研究館副館長、中國美術家協會浙江分會副主席、西泠印社第三任社長，並任浙江省人大代表、政協常委、中國國民黨革命委員會浙江省委常委等。張宗祥精於書法，善繪畫，並擅長校勘古籍，他治學勤奮謹嚴，經他精心校勘的古籍有300多種，已出版的有《說郛》、《國榷》、《罪惟錄》、《越絕書》等10余種。生平抄書成癖，邊抄邊校，往往夜以繼日；運筆如飛，壹晝夜能抄二萬四五千字。壹生抄校9千余卷，前無古人。其書法學李北海，兼融漢魏碑法，雄渾灑脫，壹氣呵成，流傳頗廣。亦善畫，印有《冷僧書畫集》。工詩能文，精鑒賞，通曉醫藥、戲曲、文學、史地等，詳見本誌《著作目錄》篇。昆曲《十五貫》解放後演出劇本亦由其改定。他重視鄉邦文獻，海寧學者著作經他校訂的有500多卷。著有《臨池隨筆》、《書法源流記》、《論書絕句》、《論晉人書法》、《不滿硯齋謄稿集》、《遊桂草》、《入川草》、《清代文學史》、《鐵如意館雜記》、《臨癥雜談》、《醫藥淺說》、《本草簡要方》等。還印有《冷僧書畫集》。晚年創作改編昆曲《十五貫》，神話劇《平颶母》、《卓文君》等。1957年，將藏書2000 余冊捐贈給海寧縣圖書館。