西山李公祠修建於唐末，為紀念潯州府禦史李明遠而在桂平西山建李公祠。
唐乾和年間(公元894-898)，侍禦史李明遠被貶謫為潯州刺史，因官場失意，後棄官退隱西山石洞，潛心禮佛修心。唐末，為紀念李禦史建李公祠。祠的前樓為藏經閣，內藏《佛經》、《砂經》、《佛經匯編》等多種，還有《四庫全書》、《四庫備要》等大批珍貴古籍，1944年日軍入侵時全部毀失。祠中塑李刺史像。
李公，字明遠，唐代山東人，生於鹹通九年（公元865年）乾寧年間（公元894--898年）官至大中中監察禦史。後因觸怒朝延，被貶嶺南道（轄五嶺以 南今廣東、廣西大部和越南北部地區），任潯州剌史。在任期間，政績昭著，德化於民，民安居樂業。又慕西山景色的秀麗，遂在西山上，今稱之為吏隱洞裏隱居不出，羽化仙雲。後人為懷念他的善政，給他立祠塑像，奉以香火，敬為神靈。
監察禦史壹職於隋開皇二年（公元582年）始設。唐禦史臺分為三院，監察禦史屬察院，品秩不高而權限廣。監察禦史分道負責，因而分別冠以某某道地名。監察禦史掌管監察百官、巡視郡縣、糾正刑獄、肅整朝儀等事務。