清遠瑞豐書院創建於明朝弘治十七年(1504)。今年夏天，廣東布政司在清遠舉行了壹次地區考試。候選人是來自廣東北部的南雄州、邵州州和連州的學生。因為清遠原來的考場太窄，政府提前在瑞豐建了壹個新的學院，讓清遠成為了第壹個學院。書院的建立和考試的舉行在清遠是史無前例的。竣工當天，熱鬧非凡。軍士易、秀才嚴及學生、考官潘福、知府等。在瑞豐玩得開心，還“背詩”。可惜這些詩大多沒有流傳下來，現在只看到潘復的壹首詩，詩中有壹句“瑞豐插天，天開書院新”。上虞(今浙江)人潘復，任廣東省副使，駐清遠。學院的建立是由於他的貢獻。明代，書院在廣東還沒有完全普及。瑞豐書院是早期的行者之壹。古代清遠的許多成功人士，如明代的孔從賢、、許、鐘萬祿，清代的郭、麥瑞芳、郭，都曾在此求學。書院也是中國學者聚會和結社的地方。明代鄭德、嘉靖年間，書院名為“集雅堂”，當時這裏就有集雅堂詩社。清代道光、鹹豐、同治年間，烈江詩社、瑞豐九老社先後活躍於書院。
清末國家改革教育，廢除科舉、學堂、瑞豐書院，後被拆除。只有書院門口的石碑留存至今。後來，師生們專門用磚和彩瓷建了壹堵矮墻，並在上面嵌上石碑和珍寶，紀念這所為清遠歷史做出過積極貢獻的書院。石碑上鐫刻的“瑞豐書院”四個楷書大字，莊重典雅，富有催人奮進的神韻，極具保護價值。
現在清遠二中重修了瑞豐書院，書院門口的石碑“瑞豐書院”保留至今。優雅端莊，依然洋溢著催人奮進的魅力。