吳玉搢，字藉五，號山夫，晚號頓研、鈍根，康熙三十七年（1698）生於淮安書香世家。祖父名會，又名德義，字東樞，貢生，“績學植行，裏人奉為大師”，死後學者尊為真士先生。父寧謐，又名仕跡，字靜公，康熙甲子（1684）舉人，“選廣德州（今安徽廣德）學正”，好禮、經、樂府，諳訓詁學。“性好賓客，雖冷署，坐客常滿，善書法，求者無虛日”，著有《鑄錯軒稿》、《桐川樂府》。
吳玉搢八歲隨父在署衙，耳濡目染，喜辨識古字，“既長博覽群書，精心考究”，“精小學”，“凡六書原委者，字櫛音譯，審其同異，訂其訛謬”，有誌於金石訓詁。年將弱冠，友人張芝橋為其拓濟州漢碑詩，從此以後，“嗜此廢寢食”。壹次吳玉搢路過蘇州，有人告訴他書肆有《亭林全集》出售，他“急往購之”，購得書“橐中金已盡”，無回家的盤纏，“遂搭吳江鴨嘴船梢篷渡江，寒風淒厲，以片席蔽體，四顧江天，曠然壹覽，不知其苦也。”壹路上雖歷經辛苦，亦不以為然。後來吳玉搢在回憶這段往事時說：“嗣後，日置此書案上，時時展讀，心知其妙，特未能盡耳。”其好學精神，感人至深。吳玉搢二十壹歲回淮參加歲考，“補淮安府學附生”，二十五為“廩膳生”。第二年父逝，“扶柩歸葬”。以後又參加了幾次鄉試，均不售，於是“客授海州、濟寧”。每到壹地，即尋訪碑刻銘文，為後來著書立說，積累資料。清學者吳進《續山陽耆舊詩》雲：“先生曾訂《金石存》輯成十五卷，續輯二卷，甚費苦求，既不能如顧寧人（即顧炎武）、朱竹拄（即朱彜尊）足跡遠到，而見聞又苦未廣，惟恃陜西人販字帖者，每歲過淮，必延款二飯，托其四訪古帖，有初出土碑板，無論斷缺，即略存數字，亦減炊典衣，湊價如數買之”。“以是日久，多所累積，。再以訪求故家遠客，或響拓，皆借抄焉。”吳玉搢亦稱自己“性喜涉獵，苦善忘，往往有所見聞，輒舉筆纂錄，至金石文字尤所酷嗜，弱冠後，孜孜搜集，雖力有不逮，然目之所遇亦無遺棄。”（《金石存自序》）功夫不負有心人，經過二十多年的努力，吳玉搢終於乾隆三年完成了專著《金石存》和《說文引經考》，並於四年後寫成了《別雅》。該書“取字體之假借通用者，依韻編之，各註所出，而為之辨證，於考古深為有功……然就所征引，是以通古籍之異同，疏後學之凝滯，猶可以考見漢魏以前，聲音文字之概，是固小學之資糧，藝術之津筏，非俗儒剽竊之書所能仿佛也。”（段朝端《吳山夫先生年譜》）後《別雅》被收入《四庫全書》，好友陸竹民寫詩贊曰：“讀書識字幾能真?轉假通字更罕倫，《別雅》壹編須善讀，世間不少弄獐人。”乾隆十壹年，吳玉搢參加了《山陽縣誌》的編撰工作，稍後又完成《山陽誌遺》。乾隆十三年，吳玉搢進京任八旗教習，途經山東拜謁孔廟，登臨泰山，更豐富了閱歷和知識。在京師，大學者翁方綱、朱石君均向吳“虛懷請益”。時在京候選的馬曰瑁、馬曰璐兄弟在金石研究方面頗有名氣，被稱為“揚州二馬”。馬曰瑁“有嗜古癖，間裒輯經史彜鼎碑刻怪字，錄成壹帙，客至出以相難，瞠目不能答，或夙稱博物才，訓詁其壹二，先生壹壹詁其音義，詳其出處，或壹字散見諸書，為剖析其音義同異，馬驚告人曰，‘吳先生，神人也！’”吳玉搢的學識為同伍膺服。
乾隆二十年，吳玉搢年近六旬，終於遂了考察秦川古跡的心願。這年冬天，他不顧年老身弱，嚴寒風雪，“匹馬走塞上，登居庸關，考山川阻夷，就戍卒野老，詢古戰爭勝敗處，徘徊叢莽落日中，至竟日不得食，搜其碑刻而還。”這次考察，雖歷經艱辛而矢誌不移，友人、詩家李蟠樞《柬吳山夫》雲：
山夫不舍山中老，歲暮騎驢客路遙。
塞外梅花消息冷，雪飛先已過蘆橋（原註：山夫騎驢北上至蘆溝橋遇雪）。
雄關屹立鎖長安，古塞荒村草色寒。
羨殺吳翁真矍鑠，短衣匹馬欲登壇（原註；山夫匹馬登居庸關）。
康家山外步磽碐，雲暗紅橋樹百層。
自古帝王無寸土，秋風秋雨十三陵（原註：遊昌平陵）。
魂銷紅淚透凝脂，百沸香泉欲起遲。
冷袖淒淒思不禁，軟溫今屬老頭皮（原註：山夫浴湯泉最得意）。
吳玉搢學富五車，然而“先生抱所學，既無用於世”，不為世人所重視。他晚年窮愁潦倒，六十四歲才“以明經訓導風陽”，作了壹個小小學官，以維持生計。在任十年，“以病解歸”，乾隆三十八年（1773）病逝於淮安，享年七十六歲。