五寨書院建於明朝嘉靖年間，位於龔雪西北的烏石嶺，故又稱烏石書院。是中國明朝的軍事家、文學家。改革家吳世來因彈劾漢奸嚴嵩被流放到衡州時，為當地人建造講學。
吳世來在松江為官期間，同情百姓疾苦，壹直受到當地百姓的稱贊。在此期間，他對日有功，幫助大明軍隊在嘉靖取得了難得的勝利。吳世來的能力和人品得到了朝廷的肯定，很快就被提升為刑部。
當時，罪大惡極的奸臣嚴嵩當權，結黨營私，導致全軍互相克扣俸祿，賄賂官員蔚然成風，嚴重削弱了軍隊的戰鬥力。面對惡勢力，吳世來敢於挺身而出，讓嚴嵩感到苦澀，視其為眼中釘，想趕緊除掉。1558年三月，嚴嵩故意推薦武士來出使琉球未果。但此時吳世來警覺起來，認為嚴嵩壹黨禍國殃民，於是冒著生命危險出示了筆錄，其中詳細揭露了嚴嵩等人“欺仁主、濫邊防、引匪害國、害民”的罪行，結果遭到嚴嵩的誣蔑。吳世來被囚禁、拷打、折磨、昏迷數次。世宗在地震發生的第二天繼續用刑，筆掉在地上，於是迷信的世宗把吳世來貶到廣西衡州。
吳世來初到衡州時，生活非常艱苦。在這樣的環境下，他不僅寫詩寫文，還念念不忘各地人民，創辦了五寨書院，即吳氏書院。他日以繼夜地講課六年了。六年時間，衡州當地的民風、吏治煥然壹新，為衡州培養了很多人才。隨著當地文化的不斷發展，衡州人的素質也逐漸提高。
1567年，嚴嵩戰敗，吳世來被招回京。他的學生日夜思念老師，在書院立了壹座吳世來的石像，建了吳公廟作為紀念，但書院在戰爭中荒廢了。時至今日，仍有吳世來的學生後代念念不忘祖師爺，將吳世來傳授的禮儀知識代代相傳。
北宋大詩人秦觀成就淮海書院，明代嘉靖文學家吳世來建五寨書院。在百年文風的衡州，人們尊崇太陽，心地善良。再沒有比這從遠古飄來的書香更沁人心脾的花香，再沒有比這更深沈的歷史號角能在這裏吹得如此響亮。
五寨書院雖已荒廢，但書聲遠非高雅，吳世來留下的精神之花永不雕零。他留下了開啟無知的鑰匙。他在月中穿越迷宮後，衡州人打開了他詩中的小屋。雖然他們分散了，但有壹個守護著衡州歷史的日出，每天都在深夜守候著山頭。