喜藏書，有藏書室名“越縵堂”、“困學樓”、“茍學齋”、“白樺絳樹閣”、“知服樓”等，臥床左右，羅列書櫃，並排盆花，自稱“書可以讀，花可以賞，二者兼得，其樂無窮”。與大學士周祖培、尚書潘祖蔭來往書信密切。其藏書不足萬卷，但以精見稱。自稱“於經史子集以及稗官、梵夾、詩余、傳奇，無不涉獵而模放之”。僅手校、手跋、手批之書有200余種。編纂有《越縵堂書目》，著錄書籍800余種；又有《會稽李氏越縵堂書目錄》，由雲龍輯有《越縵堂讀書記》，記其閱讀書籍990余種。藏書印頗多，自稱“書籍不可無印記，自須色、篆並臻妍妙，故選不調朱，收藏家爭相矜尚，亦惜書之壹事也”。有“越縵堂藏書印”、“白樺絳樹閣清客”、“會稽李氏困學樓藏書印”、“蘿庵黃葉院落”、“桃花聖解盫”、“慈銘”朱文長方印、“霞川華隱”朱文方印、“道光庚戌秀才，鹹豐庚申明經，同治庚午舉人，光緒庚辰進士”等數十枚。其《越縵堂日記》對古籍的解釋、史料的鑒定考證、人物的評價等，有精到之評；以至本人的經歷和對清末政治事件的描述，在近代史上具有重要的史料價值，為學者所重。著《湖塘林館駢體文抄》、《白樺絳樹閣詩初集》、《重訂周易小義》、《越縵堂詞錄》、《越縵堂經說》、《柯山漫錄》、《後漢書集解》、《霞川花影詞》、《十三經古今文義匯正》等。所藏書於1918年前後由徐惟則、後裔李鐘俊整理，有書9 000余冊，手稿10余種；1928年售於北京圖書館。