葉昌熾早年就讀於馮桂芬開設的正誼書院，曾協助編修過《蘇州府誌》。1889年應試及第，授翰林院編修，入京任職於國史館、會典館等處。
1902-1906年擔任甘肅學政，在1906年由於清朝廢除科舉、因而也就廢除主管科舉的學政之官時被撤職。葉昌熾學識淵博，著有《語石》、《緣督廬日記》、《藏書紀事詩》、《滂喜齋藏書記》等書。
光緒三十二年（1908）撤銷各省學政，他不願再為官，遂退居故裏，以讀書、著述、藏書終老。晚年取莊子“為善無近名，緣裻以為經”之義，自號“緣裻廬主人”。長於校勘，瞿氏《鐵琴銅劍樓書目》、蔣氏《鐵華館叢書》、潘氏《功順堂叢書》均由他審訂。壹生遍訪大江南北各地藏書家，囊讀歷代藏書書目，自光緒十年（1884）開始，歷時七年撰成《藏書紀事詩》7卷。又經過其七年的修訂，於光緒二十三年（1897）由江標在長沙雕版刊行。專搜集各代、各地藏書家史實，對每位藏書家，各綴絕句壹首，以抒其人特征或寫其心愛珍藏。遍采正史、方誌、筆記、官私簿錄、古今文集、野史稗乘，無不搜尋摘錄。潘祖蔭見書稿後，擊掌贊嘆不已。時代起於五代，迄於清末，收錄藏書家400余人，附見290余人。該書被稱為“中國藏書史詩”，亦為書林之掌故，並可考我國文化傳統之深遠，尤對研究圖書館史、中國藏書史、文化史等有極高的參考價值。繼此書之後，相繼有楊立誠《中國藏書家考略》、吳晗《江浙藏書家史略》、倫明《辛亥以來藏書紀事詩》，莫伯驥《藏書紀事詩補續》、吳則虞《續藏書紀事詩》、徐信符《廣東藏書紀事詩》等數種記述古今藏書家著作，皆以此書為典範，開創了專門藏書家研究的先河。富藏書，積至3萬余卷，藏書處有“奇觚庼”、“治廧室”、“緣裻廬”、“五百經幢館”、“辛臼簃”、“明哲經綸樓”等。編有《治廧室書目》、《五百經幢館藏書目錄》，著錄精本1000余種。自己手抄圖書達近百種，為抄寫《上海縣誌》，曾“晨興夜輟，手腕幾脫”。精於金石學，收藏金石亦可觀，曾徒步走遍平涼、張掖、敦煌、邠州、西寧、秦州、酒泉、慶陽、涇州、寧夏等十多個府、縣，沿途所見古碑、舊刻皆親自臨拓，又在敦煌收得寫經31頁，莫高窟碑拓10余通；故其收藏碑版、經幢古物具有較高的文物和文獻價值。