為桐君建造詞堂 雖然桐君事跡早在先秦時期已有遺聞，但是為了紀念桐君的業績，開始建造桐君祠的地點是現在的浙江省桐廬縣境內，也就是古代的嚴州地區。即：
《鉅宋廣韻》：“桐廬縣在嚴州，亦姓。”（見《鉅宋廣韻·上平聲》卷第壹“東（韻）·桐”條，上海古籍出版社據乾道五年閩中刊本影印）
今考，嚴州在隋代時稱為睦州。其地名系唐·武德四年（621年）始置。嚴州地名在歷史上又有多次改稱，如民國時期屬浙江省建德縣，其治所在今桐廬縣西舊鄉鎮處。根據《桐廬縣誌》（童煒《桐廬縣誌》卷四“雜誌類·祠廟”，康熙二十二年刊本）和《浙江通誌》（《浙江通誌》卷六十七“雜誌第十壹之五·仙釋本傳”，《四庫全書》本）的記載並有關資料，桐君祠自從建成直到現在約九百余年間曾經歷了多次的嚴重壞損和修復重建過程，這就是：
◆11世紀：既知最早於北宋元豐間（1078～1085年）由桐廬縣令許由儀在該縣的桐君山頂始建。當時在山灣處（原文作“山隈”）有兩棵小桐樹，祠堂建成後曾在堂內塑繪有桐君的畫像，並且有某些名人題寫的詩句，其中有“山中百藥當年錄，砌下雙桐舊日蓀”句。
◆12世紀：及12世紀初，孫景初繼任桐廬縣令時，曾將祠中的桐君繪像改以塑像，並增添了若幹名人題寫的詩文。但是到了14世紀的元朝末期，桐君祠由於遭受兵火之災，祠廟嚴重受毀，舊貌已蕩然不存。
◆13世紀：元朝時期桐廬縣令張可久再度捐資重修桐君祠（張可久重修桐君祠之舉曾由明代徐舫作詩稱頌，其事可參見下文“詩文書畫題詞”壹節）
◆14世紀：明朝開國後，於14世紀中末期（即洪武間，1368～1398年）曾重建桐君祠，惟規模較小。及15世紀末（即成化間，1465～1458年），祠廟再度荒廢。
◆16世紀初期：於16世紀初（即嘉靖初，1522年）桐廬知縣張瑩在桐君祠廟舊址重新進行了較大規模的重建，建成後在祠內曾懸掛大鐘，並使鐘夫每日早晚定時撞擊，並延道士主持。此後經歷歲日，祠廟又復傾壞。
◆16世紀後期：16世紀後期（萬歷五年，1577年）桐廬知縣李紹賢捐資重建。
◆17世紀：17世紀初期（即萬歷三十年，1602年）桐廬知縣楊東再度捐資重修，並在祠內增加晉代末期的本地著名文人戴顒氏塑像配享。
◆18世紀：約18世紀時（清康熙時）桐君祠又重修壹次，但尚未見到方誌記錄（據申屠丹榮等氏《瀟灑桐廬》，浙江人民出版社出版）。
◆20世紀：1979年桐君曾重修壹次。
冠以桐君名義的各種事物 為了宣揚以“桐君”為首采藥治疾的歷史，“桐君”家鄉的人民除了建造祠堂、供奉塑像及祭祀等活動外，還采用“桐君”和“桐”的字樣命名生活中的各種事物。