蔣家是有名的圖書館世家。吳興有傳書樓、密雲樓等四座圖書館，其中密雲樓、鹿心苑宋軼樓、劉承幹家業堂、張君恒師院。祖父蔣、叔父蔣、父親蔣都以藏書聞名。幼兒繼承家庭知識，能辨別古籍真偽。長期在北京做官，在上海做客，足跡遍布大江南北各大城市。和曹、沈、王國維、、傅增湘、羅振玉等著名藝術家，參觀了許多藏書家的藏書，如“天壹閣”和“書店”。清末民初，寧波範氏、杭州王氏、臺州劉氏、涇縣洪氏、貴陽陳氏等著名藏書家流散，大部分被蔣汝藻收購。搜尋祖先家族散落的遺書更有力量。凡是有古宅、舊書、舊畫的，都是高價買來的。把圖書館建成“書館”。沈稱其為“妖書”，並將其圖書館命名為“密雲樓”，因為他得到了宋版的“草窗韻”，這是罕見的。密雲樓館藏宋代舊刊83種，元刊102種，明刊863種。鎮館之寶是宋代出版的絕版書《草窗韻》，花了1500元高價購得。海寧的王國維被要求編纂《密雲樓集》20卷(未出版)。藏書5000余冊，善本2667冊，其中宋代563冊，元代2097冊，明代6753冊，3808冊，永樂大典20冊。
《傳書堂》另壹部善本書目有12卷7冊，近鄰瞿鳳岐有《密雲樓藏書》後記。其藏書印為孟平集，密雲樓，七卷公羊之家。由於戰亂，生意失敗，書籍被迫由浙江興業銀行典當，分別由潘、劉體之、鄭振鐸購買。大部分屬於商務印書館的韓粉館，而韓粉館收藏的大部分書籍則由蔣圖書館收藏。另壹本明版在北京圖書館售出，中華書局圖書館售出5萬多冊。