據傳，明、清兩代，這裏出了81名秀才，其中有明嘉靖年間的探花、南京禮部尚書林士章；明喜靖年間進士、雲南按察僉事林壹新；明嘉靖年間進士、廣西按察使林功懋等人。這些“秀才”回鄉榮宗耀祖時大興土木，建房造厝，逐漸形成壹個在當時頗具規模和獨特的村落，於是後人改稱為“秀才村”。
“秀才村”全是土木結構，現還保存完好的主體建築是三排平房抱著兩叢座各三進的院落建築。平房每排五間，計15間。兩叢座的前兩進均是“官廳”構式，每進也均是壹廳兩房，進與進之間各有兩間左右廂房。後進均是樓房。右邊樓房上下各壹廳兩房，左右貼著兩間平房；左邊樓房上下也各壹廳兩房，左右各抱著上下各有4間的兩排樓房。據傳，這些樓房是達貴夫人和閨秀小姐住的，因此又稱為“梳妝樓”。目前，“秀才村”還住著30多戶人家。
“秀才村”前臨江，傍依荔枝林，背靠層層山巒，山青水秀，在山水和荔枝林的輝映下，這座翰墨古村顯得更加妖嬈媚人。