夏元吉名叫衛哲，祖上是德興人。他的父親夏時敏在湘陰做神諭，所以定居於此。夏元吉很早就成了孤兒。他努力學習，照顧他的母親。他在州縣地方官員的推薦下進入國子監，後來被選入宮中撰寫詔書。有幾個學生大聲笑了起來，夏元吉坐得筆直而嚴肅。明太祖暗中觀察到他與眾不同，提拔他為家庭部主任。明成祖即位，調他為左侍郎。浙西發生水災，負責治水的官員卻無能為力。永樂元年，夏元吉奉命治水。夏元吉裹著布徒步行走，日夜籌劃。最熱的時候，沒有傘蓋。他說:“人民在努力工作，我怎麽忍心壹個人舒舒服服的？”抗洪結束後，他回到了北京。永樂七年，皇帝北巡，命夏元吉代理禮部、兵部、都察院。有兩個侍衛官，主張月薪，皇上要砍頭。夏元吉說:“這是違法的。如果他們真的偷了，會受到什麽處罰？”皇帝於是不再斬首他們的詔令。唐玄宗第三年，他陪皇帝去了北方。皇帝嘗了嘗夏元吉袋子裏的幹糧，笑著說:“怎麽這麽難吃？”夏元吉答道:“軍中仍有饑民。”皇帝下令把高級官員的飯菜給他，並獎勵士兵。夏元吉大度到讓人測不出它的邊際。同級官員有優點，他會采納；有些人有小毛病，他壹定要遮掩。有壹次，壹個官員弄臟了皇帝給的金織衣服，夏元吉說:“別怕，臟東西是可以洗掉的。”還有壹次，壹個官員弄臟了精微的文件，磕頭求死。夏元吉也不追問，入朝就自責。皇帝下令改變這些文件。呂振曾經排擠過夏元吉。陸貞為兒子求官職。夏元吉認為陸貞在“京南”期間有守城之功，為他向朝廷求情。平江人起初對夏元吉恨之入骨，但夏元吉經常稱贊陳有才華。有人問夏元吉:“妳能學會氣量嗎？”他說:“我小的時候，有人得罪我，我不生氣。我臉上開始有耐心，心裏也有壹段時間有耐心。時間長了，就沒什麽好忍耐的了。”他習慣在晚上審閱記錄罪犯供詞的文件，拍著桌子嘆氣，筆總是不掉。妻子問他，他說:“這是年底的執行書。”有壹次他和同班的官員去外地喝酒，晚上回來就趕上下雪了。過了宮門，有些人盡量不下馬。夏元吉說:“君子不可因欲暗而墮落其性格。”他是如此謹慎。