清朝順治年間，蔚縣薦紳先生之徒，“與好事之家出錢粟贍學者，並立為書院”，取名蔚蘿書院。但因當時統治者對書院采取抑制政策，曾明文規定“不許別創書院”，且地方州學對之又不斷加以排擠，在這種情況下，書院不得不於乾隆初年改為東鄉義學，壹直到乾隆三十九年，靳榮藩接任蔚縣知州後，鑒於全國各地“培植人才，”自學官而外，省府州邑多有“書院”之設，於是在官方的支持下，他自籌資金，在次年中，僅用半年的時間便將東鄉義學修葺完畢，並延名師執教，且更名為文蔚書院。當時書院山長為顧東巖。
據稱，整個書院規模宏大，***占地約十五余畝。其主要建築可分為內、外兩大部分，而以院外景物之布局設計獨具特色，蔚州人李源有碑記說：此景遠勝蘇東坡所言之虔州八景臺，及六壹翁所寫之醉翁亭。據史料記載，院門內築有石橋壹座，其左右兩側，分別挖有矩形水池。池中又各砌滲井壹眼，微風拂過，清波蕩漾；池畔古柳成蔭，生機盎然，四周均以木欄環繞相圍。盛夏之昏，到此閑遊乘涼者，絡繹不絕。另建有魁星樓、焚紙樓，呈耐稱狀，更為全景增輝添彩，令其秀而不俗，恰似靳榮藩《題文蔚書院八景圖》中所雲：
有客示我書院園，
佳景全對讀書廬。
意匠經營詎慘淡，
天然位置成清娛。
兩池革色壹橋月，
橋欄盡處池欄闊。
池畔古柳幾經年，
池上名花傍曉發。
試乘秋曉陟高樓，
花柳池橋壹望收。
遙指南山秀盈掌，
低看三徑客來遊。
書院內建“四合院”式院落***九處，計房壹百余間。房舍錯落有致、雜而不亂，其中，有專供牛豫養德修行、溫習功課及住宿的“六齋”，即率性齋，修道齋、誠心齋、正義齋、崇誌齋和廠業齋；有設作山長及教習辦公用的院子壹所；另外兩院，則壹般分設庫房、藏書室及廚房等。
書院以考課為主，是當時縣內科舉的預備場所，兼有官學之特點。院內山長除講學之外，並總領院務。教習壹般來自塾師，但須經考試合格後方能被聘用。生童大都由各私塾轉入，最初約有教習十名，生童壹百五十余名。
書院學制不定，生童入學年齡無嚴格限制。壹年中亦放秋忙、寒冬假各壹月。講授內容主要包括有四書、五經、性理、習字等。每天的課程分三類：詩歌、習禮及讀書。具體教學以生童個人讀書鉆研為主，講學為輔。每月壹小考，稱“月考”；年終壹大考，稱“歲考”，均由山長來命題，凡成績優異者可獲獎勵（稱“膏火”）。關於生童離開書院後的去向，舊誌中載有“諸生之肄業者，庠師試而聞諸州，州再試而擇其可”，去應州試，目的是考取秀才。
書院所需羥費及山長、教習等之薪水（稱“修金”），大部由州（縣）署按規定逐月撥給，其余則靠向外租借學田、館舍等，收其息而補之。
另外，書院中兼設義學。因系李舜臣（邑候補主事）捐建，而得名“李氏義學”，是專為家貧力薄者就學而設置的義務教育機構。
治至光緒二十七年（1901年）八月，清廷采納張之洞、劉坤壹“廢除科舉，興辦學堂”之建議，並下詔將全國所有地方書院，統改為學堂。文蔚書院改制已勢在必然，遂於翌年內改組為“蔚州官立高等小學堂”。
文蔚書院創辦於清朝中後期，結束於清朝末期，前後長達壹百二十六年之久。李源有碑記亦雲：“經久而弗墜，名材輩出。”確是“地靈人傑載方冊”，其間造就出不少有識之才，從而使它在蔚縣近代教育史上較有影響。