米芾在武威軍中服役兩年多，從崇寧三年(1104)七月到崇寧五年(1106)秋冬。米芾離任去世後，武威在寶金寨舊址上修建了米公廟作為紀念。
原齋毀於火，明萬歷二年、清乾隆元年兩次重修。乾隆三十七年，縣令張公橋臨摹陳洪綬拜石圖，刻於碑上；三十九年，縣令張昆玉創立白石軒、書畫舟、相約亭，為自己題寫。清鹹豐元年，毀於火。光緒定州年間知縣王鈞對其進行了重修，建了三座米公廟，門居中，池左右各建了三間廂房。外側用土墻裝飾，中間用竹柵欄隔開，水池周圍建假山，收集“墨池”、“畫菜”等石雕兩碑，搬進寺內。
民國時，在舊址上修建了縣圖書館。縣文物管理處現已成立，收藏有歷代名家題跋100余件，其中包括宋徽宗楷書《唐十八子》和米芾篆書《王瓚》。後來由於火災，寺內大部分文物被毀，米芾當年收藏的碑文早已毀於壹旦。解放後，僅留下、頭雁亭、石拜及部分碑刻，主要由清末江蘇按察使劉帶到武威。建國前，大量碑文散落在他們沒有城市的私宅裏。1950年，全部移至米公廟，妥善保存。1981九月被定為安徽省重點文物保護單位。
為了更好地保護這壹舉世聞名的歷史文化遺產，2002年6月，無為縣政府啟動了米公廟修復工程，分兩期建設。米公廟壹期修復工程充分考慮了乾隆《武威縣誌》所反映的“墨池地圖”，采用清代建築風格，修建寶金齋、聚善閣，修復了墨池、頭雁閣等景點。投資300多萬元，恢復擴建的米公廟占地4000平方米，有150多幅珍貴書法碑刻，其中包括米芾手書碑刻，並修建了寶金齋、墨池、頭雁亭、聚山亭、杏花泉等重要景點。同時還將建設武威名人堂、紀念碑廊等新建築。二期將搬遷武威圖書館，建立博物館、武威名人館、文物陳列館，恢復米公廟原貌。屆時，遊客可親身體驗“投硯止蛙”、“迷飛拜石”等美談和傳說。2010 11在米公廟恢復擴建的基礎上正式建立了米芾紀念館。