葉紹翁祖籍龍泉(今浙江省麗水市龍泉市),生於宋代。我祖籍建陽(今福建建甌)。原姓李,龍泉葉氏繼承人。其祖父李為北宋政和五年(1115)進士。他曾經是滁州的罪犯,後來被稱為余姚。南宋建炎三年(1129),因抗金有功,升任大理寺大夫、刑部大夫,後被貶為趙鼎黨務。