吳訥孫祖籍福建福州（閩侯）。吳家為福州仕宦世族，詩禮傳家，文風鼎盛，從乾隆至光緒百余年間出了十壹位舉人，三位進士。吳訥孫祖父吳弼昌（號訥瓶）為光緒乙醜科舉人（壹八八九），曾任山東濰縣縣令，訥孫之名即由祖父名號而來——訥瓶之孫。父吳藹宸行三，舊體詩做得很好。北京大學畢業後出國留學，精通外文。雖然學的是礦科，但是身處動蕩時局，未能學以致用，幾番被政府派去辦外交。壹九三零年代末期曾派駐布拉哥，海參崴等地為總領事，壹九六五年八月在北京逝世。吳藹宸生了子女九人，但只有三男三女長大成人。訥孫行二，兄威孫，弟哲孫，二姐為畫家吳詠香。
壹如傳統簪纓門第，吳家重視子弟教育，從小請了名師宿儒來家塾教孩子中國古籍。父母家教亦甚嚴，吃飯時要求碗裏壹粒米都不剩（《市廛居》P.142），因此雖然身處新舊交替，西風東漸白話文取代文言文的時代，在這樣的家庭背景下，吳訥孫熏陶出他根柢深厚的人文素養及傳統農家節儉情操。雖說自廿六歲赴美讀書起在美國住了50余年，他壹直保有中國傳統讀書人的情操與習性。
壹九二六年吳訥孫六歲時，隨母親去福州老家省親，由於在北方講的是官話（國語），福州老家人的話他壹概聽不懂。在那呆了幾個月，北伐的革命軍逼近福州。當時，他的祖父剛去世，而父親早兩年出任外交部駐湖北交涉員，厘定章制接收漢口俄租界，並兼任特區管理局第壹任局長，當時在湖北做事。於是祖母和全家上下討論後商定，家中的命根子，訥孫三兄弟都由壹位家塾老師帶回鄉下暫避。在鄉下，孩子們都被美麗的鄉土風情所吸引，成天在鄉間嬉戲。這年十二月革命軍來到了鄉間，村人開歡迎會，這是吳訥孫第壹次見到青天白日旗（《市廛居》P.231）。
沒多久，父親來信要全家到天津去。船經過了山東煙臺，水手們迅速的把青天白日旗換成了五色旗，原來在北洋政府轄地看見青天白日旗會開炮的。壹路的海水沒有大風波，人世上倒是有壹場巨浪狂濤。雖說南北交戰卻不礙民間交往，回憶這件事時他說：“中國文化的特色就是，政權甚至無力可以使國家分化，人們的理想就是彼此認同與和平的，帝力與我何有哉”。（《市廛居》P.233）吳自小就有“朋而不黨，更不吞聲哭”的觀念氣度，對於政黨更沒什麽好印象。壹九四四年吳考取自費留學後，去重慶接受出國前訓練。他是三十壹期中央訓練班第六中隊的隊長。受訓時隊職官要求學員們入黨，只有三個人不肯，其中壹個就是吳訥孫。 到天津後，吳訥孫隨即去了漢口，但沒住多久又回到天津。壹九二七年他在天津上學，壹九三零年在天津公學跳級念初壹，三壹年時轉學天津南開中學。壹九三六年畢業，是這壹屆最年輕的學生，他得到了獎學金，報送燕京大學。
中國傳統教育觀念並不在培養專業技術人士，而是在進德修業造就人格。讀書人的胸襟是為天地立心，為生民立命，繼往聖絕學，開萬世太平。西方教育思想傳入後，西方的專才教育才讓中國人有了學什麽專什麽的觀念。吳訥孫小時候大家對教育的觀念還是很中國，很傳統的，他就在這樣的看法中成長。終其壹生，這個基調始終未改。他當了壹輩子教授，始終認為大學教育應該是培養通才，而不是技術人員。他對子女、學生、青年朋友的期許也是要跳出這個學什麽專什麽的窠臼才好，如此才能做人。
吳訥孫少年時代，參加過李抱忱指揮的合唱團，唱過太和殿前千人大合唱。沒想十幾年後在李抱忱新港居所結識了李的表妹，也是他日後的妻子薛慕蓮。就讀天津公學時，有壹位鄭菊如老先生教他中國古籍，上課之外常跟他說古道今。上南開中學時，吳訥孫從葉石甫及孟至蓀兩位國文老師身上受益良多。當時的吳訥孫也不真的是循規蹈矩，壹心向學的學。常常被主任傳去談話。他不記得犯過什麽大錯要去受申斥，也不記得談了些什麽，只記得先生坐在壹張大辦公桌後，背後墻上掛著壹個立軸，軸上寫著李白的《秋下荊門》及蘇軾的《詠郭熙秋山平遠二首》。吳站在桌子旁邊，先生說話時間多，吳應對的時間少，註意力集中在思索在這兩首詩的含意。（《未巳集——南開中學壹九三六班師生文集之三》P.27）
許多人認為吳訥孫自幼由家塾老師開蒙學習中國古籍，從小就對文學有興趣。但據他自己描述，“十二歲插班上南開初中二年級，那時好動貪玩，第壹次離家住校，念書成了次要的事，生活才是真經驗。壹學年下來，上下兩學期各有三門不及格。南開規矩是若上下學期不及格是三門同樣的功課，或是兩學期六門不及格的功課中有國文，英文，算學各壹門就要刷出去。（我）這三門有兩門不及格，上下學期不及格的科目又不同，於是得以補考升級。（我）並不是從小就喜歡文學。”（《未巳集》P.28）
吳訥孫的文學創作經驗，恐怕萌芽於寫日記。他的教育，日記經驗占有很重要的成分。他自小寫日記，多年來從未停歇。寫日記讓他練習觀察、分析、記實、也提高了他的創作能力。他認為日記不是記事而已，大事自有存檔，他用日記訓練思想方法及分析人情。（《市廛居》P.006）初中時已寫了十幾本，高中畢業徒步旅行南下時，把日記和壹些物品寄存在天津的朋友家中。後來由於抗戰的烽火，他沒再回去，這些日記都散失了。（《市廛居》P.005）
南開中學畢業那年，吳訥孫十七歲，得獎學金報送燕京大學。這時他向往在西伯利亞任國民政府駐布拉哥總領事的父親請示，想要休學壹年，徒步旅行看看都市以外的中國。（《市廛居》P.256）吳念中學時“南開少年團”經常外出郊遊踏青。畢業那年春假曾遠赴泰山，曲阜和鄒縣。但只身徒步旅行，還是從未有過的行為。吳訥孫會興起這個念頭，主要是被他親身經理的壹件事震嚇到了。
當時吳家叫了工人修屋子，吳訥孫壹人在他的書房裏讀書。中午時分女仆對他說：“少爺妳去吃飯吧！這兒有我呢。”吳訥孫壹時也未多想就離開了，過壹會他才突然意識到女仆是在那兒幫他看著工人，不讓他有機會偷東西。日後談起這事時，吳訥孫仍很難過的說：“同樣都是來自農村的勞動者，只因為女仆在我家，她就可以去懷疑另壹個勞動者的清白，怎能這樣呢？”這事讓他驚覺到販夫走卒的世界竟然與他的生活有如此大的差距。所以他想旅行中國，用壹年的時間，徒步看祖國山河，經歷壹下各地風俗，並親身體驗農村農民生活。
由於書信往來甚慢，他只好先進燕京生物系等待來信。十月間父親回信許可了他這壹請求，但要求壹定要有同伴。於是，吳訥孫收拾起行裝與南開好友陸智周（後來在西南聯大也是同學，《未央歌》裏的朱石樵的原型。在此前他們已經同在安徽、浙江壹帶走過壹千五百多裏路。）壹九三六年十壹月自天津出發，沿津浦路南下，壹人背了壹個背包。壹九三七年六月因陸智周要去北方投考大學，兩人在徽州分道。陸智周東行去杭州，吳訥孫去祁門及景德鎮。（《市廛居》P.256）當他走到南京時，盧溝橋事變發生了。平津的幾所大學遷移至長沙，吳訥孫也中止了他的旅行，進入位於長沙的國立第壹臨時大學。
在當時徒步旅行決不是件遊山玩水般的賞心樂事。好幾次因為走過的地方，在國軍剿匪戰爭之後，貧苦特甚，有時要壹日夜不停才能夠走出壹個沒有人煙的地帶。身上需隨時攜帶幹糧，有時預先把信寫好帶在身上，若真遇到不幸，只希望有善心人士代他發那最後壹封家信。（《市廛居》P.150）至於盤纏，則是由家裏依旅行路線分次將錢匯至前頭的城市，等吳訥孫到了再去領取。出外靠朋友，沿途遇到年長的人，吳訥孫滿口大爺大叔，壹路都有人幫他。那八個月，大江南北他走了大約壹萬五千華裏（約七千五百公裏）。
吳訥孫自己認為，由於這壹番看山野農村的經歷，使他了解了當時的社會，“體驗到中國和中華文化，對他後來升學、讀書以及對世界前途的思索有著極大的影響。”（《市廛居》P.295）。吳生長及求學過程都在都市裏，對於中國農村及農民，他始終充滿了溫情及敬意。但究其壹生的農家經歷，主要就是這趟旅行。曾有人問他：“中國文盲占了百分之八十五，怎麽現代化？”他的回答是，中國識字不識字的人算在壹起，至少有百分之八十五以上的人都有教養。而且識字的人並不見得比不識字的老太婆、苦力、農夫有教養。（《市廛居》P.47）談到文化遺產，他認為中國傳統文化把人世與自然視為壹體的人生觀，在青年壹代若因為西化、工商業、政治法律而被拋棄了，還來得及在農村中、老農夫、老農婦的行止中找回來。（《市廛居》P.45）這些觀察與期許，恐多是來自這趟旅行。