清遠瑞豐書院創建於明朝弘治十七年(1504)。今年夏天,廣東布政司在清遠舉行了壹次地區考試。候選人是來自廣東北部的南雄州、邵州州和連州的學生。因為清遠原來的考場太窄,政府提前在瑞豐建了壹個新的學院,讓清遠成為了第壹個學院。書院的建立和考試的舉行在清遠是史無前例的。竣工當天,熱鬧非凡。軍士易、秀才嚴及學生、考官潘福、知府等。在瑞豐玩得開心,還“背詩”。可惜這些詩大多沒有流傳下來,現在只看到潘復的壹首詩,詩中有壹句“瑞豐插天,天開書院新”。上虞(今浙江)人潘復,任廣東省副使,駐清遠。學院的建立是由於他的貢獻。明代,書院在廣東還沒有完全普及。瑞豐書院是早期的行者之壹。古代清遠的許多成功人士,如明代的孔從賢、、許、鐘萬祿,清代的郭、麥瑞芳、郭,都曾在此求學。書院也是中國學者聚會和結社的地方。明代鄭德、嘉靖年間,書院名為“集雅堂”,當時這裏就有集雅堂詩社。清代道光、鹹豐、同治年間,烈江詩社、瑞豐九老社先後活躍於書院。
清末國家改革教育,廢除科舉、學堂、瑞豐書院,後被拆除。只有書院門口的石碑留存至今。後來,師生們專門用磚和彩瓷建了壹堵矮墻,並在上面嵌上石碑和珍寶,紀念這所為清遠歷史做出過積極貢獻的書院。石碑上鐫刻的“瑞豐書院”四個楷書大字,莊重典雅,富有催人奮進的神韻,極具保護價值。
現在清遠二中重修了瑞豐書院,書院門口的石碑“瑞豐書院”保留至今。優雅端莊,依然洋溢著催人奮進的魅力。