戊戌變法的失敗使張元濟認識到，“任何政治改革強加於冷漠、毫無生氣和愚昧無知的大眾，必然毫無結果”。
張元濟傳--出版巨擘而救治的良方，只能寄希望於自下而上逐步改良教育、培養人才、傳播新知、轉變風氣，這才能給變法提供壹個穩固的基礎，最終取得社會的進步。這樣的躬身反省，培植了他後來選擇與教育緊密相關的出版作為終生事業的思想根基。1898年10月，被貶黜的張元濟離開京城，在李鴻章的推薦下，來到了“新學樞紐之所”的上海，任南洋公學譯書院院長，而其主要的工作，則是翻譯出版西學書籍。這使他有機會結識了到處尋找印刷生意的商務印書館創辦人夏瑞芳，二人壹見如故。
世間的事充滿偶然與必然。如果不是夏瑞芳有借重文化人的心思，如果不是張元濟的思想有了改變，他們的相遇也不會促成現代出版業重鎮——商務印書館的崛起。1902年，受夏瑞芳的熱情邀請，張元濟毅然辭去南洋公學職，到商務印書館任事。張元濟的到來，為早期商務的發展確立了新的方向。商務的主體業務逐步由印刷轉變為出版，並漸及其他與教育相關的事業，例如興辦學校、創辦圖書館、制作教具儀器、拍攝電影等。張元濟的個人地位和聲望，也給商務帶來巨大的作者資源，在與知識界、政界，尤其是教育界的緊密聯系中，商務猛增了許多聲名燁燁的合作者。有論者說，這是近代傳統士大夫與工人階層、文人與商人成功合作的鮮見例子。
張元濟“以扶助教育為己任”，到商務印書館做的第壹項工作就是編寫適應現代教育的教材。20世紀初葉，新式學堂紛紛設立，但接踵而至的問題是師資和教材的極度匱乏。張元濟曾有通藝學堂和南洋公學辦學的經驗，對時勢的敏感，使他果斷抓住機會，以教育熱情和專業意識，推進教科書的編撰。他主持編寫的“最新”系列教科書，以其完善的內容和形式，極大地推動了中國當時的教育革新。正是這套以全民教育為目標，按照教育原理編寫而成的教科書，奠定了中國近代教育的基本格局。也是這套行銷全國、壹印再印的教科書，奠定了商務在出版業中的優勢地位。
教科書的成功，使張元濟更加堅信了出版於教育的意義，也堅定了他把商務印書館作為自己安身立命之處。1904年，汪康年轉告張元濟，說清廷擬請張元濟出任外務部職事，張復信辭謝，表示進入商務後的心情是踏實的:“弟近為商務印書館編纂小學教科書，頗自謂可盡中國民義務。平心思之，視浮沈郎署，終日做紙上空談者，不可謂不高出壹層也。”類似的辭官事件還有1907年辭外務部、郵傳部任職，1913年辭熊希齡內閣教育總長職;類似的表達還有1917年致蔡元培信:“蓋出版之事業可以提撕多數國民，似比教育少數英才為尤要。”在張元濟的心目中，商務印書館已成為他事業的重心、人生的園地和實踐自己素誌的好地方。
從張元濟留存下來的日記來看，記載的內容也確實大多為出版事務，而且頗為細碎瑣屑，從制定館務規則、購進新式機器、圖書銷售發行，到某人違紀應予處分等等，涉及企業經營的各個環節。張元濟以文化人的身份投身實業，實業家的身份又使他力避“務虛”，腳踏實地做好每壹件事，所以章錫琛說他“沒有絲毫官僚習氣，他在編譯所中，每天總是早到遲退，躬親細務，平時寫張條子，都用裁下的廢紙，壹個信封也常常反復使用到三四次以上”。
張元濟“事無巨細”、“面面俱到”的事務主義工作方式，從壹個側面頗能反映他做事為人執著的壹面。但與此同時，張元濟還有他超脫的壹面。他意識到自己的局限，包括精力的有限與思想資源的有限。在五四新思潮蓬勃興起的時候，他壹方面盡量跟上潮流，另壹方面則心生退誌，照他的說法是“引避賢路”。1920年春，他五十五歲，宣布辭職引退，而且沒有商量余地。在答復孫壯、孫偉的信中，他談到辭職的根本動機:“……吾輩在公司幾二十年，且年逾五旬，體力均非健碩，豈能永久任此繁劇。亟宜預備替人，培植新進，以謀公司可久可大之計。……且吾輩腦力陳舊，不能與世界潮流相應，若不引避賢路，恐非獨於公司無益，而且於公司有損。弟實不忍公司陷於困境，而誌不得行，故毅然辭職，以為先去為望之計。”這樣的“老計”，是含有他對時代進步的自覺認識，體現了壹個承上啟下的歷史前行者的情懷。
1926年，按中國傳統算法，張元濟60歲，他堅決辭去了商務印書館監理職務，算是正式卸職退休了。雖說不久後又被推選為董事會主席，對公司事務仍居顧問之位，但畢竟有更多時間專心於他喜愛的古籍校理和出版工作。影印古籍為張元濟早就留心之事，早在1904年他即為商務印書館構築收藏古籍的涵芬樓，大量搜羅善本典籍，壹方面是為商務影印古書提供版本保障，另壹方面也有搶救文化遺產，避免母邦文獻流入異土的可貴意圖。1920年前後，影印出版大部頭古籍的條件漸趨成熟，在張元濟主持下，商務印書館及時輯印了《涵芬樓秘笈》、《四部叢刊》、《續古逸叢書》等大部古書，為商務印書館贏得了良好的聲譽和可觀的收入。他在其中擔當的角色不僅是壹位內行的出版者，而且還是壹位卓越的版本學家，親自參與整理古籍，在版本、校勘方面顯示了深厚的舊學功底。1926年從監理位置上退休以後，張元濟將大部分精力投入到《百衲本二十四史》的版本淘漉、校勘整理、影印描潤等煩難而瑣細的工作中。該書1930年開始出版，因“壹?二八”事變壹度中斷，直至1936年才告竣。它在史書出版上所具有的承先啟後作用，是毋庸置疑的。1948年8月，張元濟被選為當時的中央研究院第壹屆院士，隸人文歷史學科，當選的原因是“主持商務印書館數十年，輯印《四部叢刊》等書，校印古本史籍，於學術上有重大貢獻”。
1936年，張元濟70歲。由蔡元培、胡適和王雲五發起，收錄當時二十多位文化界名人學者在各自領域的學術論文，編印了《張菊生先生七十生日紀念論文集》，以此特殊方式為這位出版界前輩祝壽。在“征文啟事”中，張元濟被朋友們稱為是“富於新思想的舊學家，也是能實踐新道德的老紳士”。這是對張元濟壹生思想性格和文化態度的高度概括。趨新而不躁進，溫和而不保守。在這點上，張元濟與他的好友蔡元培頗有相似之處。當年蔡元培到北京大學當校長，壹方面引進胡適、陳獨秀等新人物，另壹方面又在“思想自由，兼容並包”的辦學方針下，使各方面學者同流並進，為北京大學確立了壹種非急功近利卻有助於學術、人格發展的文化精神環境，進而開創了中國現代學術和思想的新紀元。張元濟主持商務編譯所多年，同樣在大力引進新人、擘畫出版方針時，註意中西文化的融會貫通，既關註西方文化學術思想的譯介，又著力傳統典籍的整理，新與舊，中與西，並行不悖地***存於商務印書館的出版物結構中，從而使商務印書館別具壹種有容乃大的恢宏氣度，進而引領了新式出版文化建設的新方向。這壹南壹北兩個最重要的學術文化機關，壹個作為中國最高學府，壹個作為中國最大書局，壹起奠定了中國近現代新文化的基礎。 在交通大學的歷任校長中，第二任校長張元濟是壹位頗具傳奇經歷、對教育文化事業及祖國文化的保存和傳播有大貢獻的人物。
1899年初，張元濟到達上海後不久，便應盛宣懷的邀請，出任南洋公學（現交通大學的前身）譯書院院長(據張元濟說，盛宣懷邀請他是由於李鴻章的推薦)。自此，張元濟開始了他在南洋公學3年多的工作歷程。南洋公學譯書院初創時院址設在虹口，同年秋遷往提籃橋。張元濟先後主持編譯了物理教材：英國莫爾旦的《格致讀本》、法國包爾培與英國保羅伯德臺合著《中等格致讀本》；歷史方面的書籍有英國索米爾士的《萬國通商史》、勃克魯的《英國文明史》，日本松平康國的《美國憲法史》等，實用科學有《社會統計學》幾種書籍。
1901年初，張元濟兼任公學代總理。接任後，他便致力於公學特班的籌辦。張元濟親自主持特班的招生考試，先筆試，後面試，***取學生42名，都是二三十歲，在中國文學方面有相當根基的人。
張元濟雕像張元濟對師資非常重視，認為壹個作為嘗試性質和尖子的特班，必須有壹流的教師。其時，張的老友蔡元培從紹興到上海。蔡雖未像張那樣參與維新活動，但同情維新派。他認為康梁之所以失敗，是因為事先不培養革新人才，希圖以少數人取代政權，此為致敗原因。這壹觀點與張吻合。故張請蔡出任特班主任，兩人壹拍即合。特班另聘王舟瑤、趙從蕃為教習。
張元濟在南洋公學任職時期，特別是代任總理期間，工作繁重，加之路遠耗時，他平時住宿在學校裏，極少回家。他時常直接找學生談話，詢問他們的功課。蔡元培任職後亦在校內住宿，兩人常作徹夜長談。
當年南洋公學學生平海瀾後來曾回憶張元濟在南洋公學的情景：張先生勵精圖治，真好。他是非常愛研究學問，勉勵先生讀新書。譬如本來我們是讀《史記》《漢書》《資治通鑒》《禦批通鑒輯覽》等舊書的，他改掉了，教我們讀嚴復的《原富》。他的教法，讀壹遍，壹遍讀了好幾頁，馬上就回答，那麽我們小孩子怎麽答得上呢——十三四歲讀《原富》！從這段回憶中可知，張元濟在南洋公學是傾心盡力的，並對教學的內容和形式作了改革，其目的是培養學生的現代意識和愛國思想。
後來，因他的辦學思想與監學美國人福開森不合，1901年5、6月間，他便向盛宣懷請辭，未被接受，8月堅辭代總理職，專任譯書院院長。1903年，南洋公學由於經費短絀，譯書院及東文學堂停辦。張元濟遂離開南洋公學，加盟商務印書館，開始了其人生的又壹重大轉折。從此，他把自己全部的精力投入到出版事業中，直至終老。 張元濟與毛澤東的交往始於1949年9月。當時新中國成立在即，中國人民政治協商會議在北京召開，張元濟這位為中國現代出版事業作出了巨大貢獻的愛國老人作為特邀代表參加了這次會議。
1949年9月19日，毛澤東邀請張元濟同遊天壇，陪同遊覽的還有陳毅、劉伯承、粟裕等。壹路上大家興致勃勃，談笑風生
毛澤東與張元濟等人***遊天壇生，並合影留念。休息的時候，毛澤東請張元濟坐在身邊，問他早年在京做官時是否來過這裏。張元濟笑著回答：“這是皇帝敬天之處，我那樣的小京官豈能來此？”毛澤東聽了爽朗大笑。毛澤東還問了壹些他早年參加戊戌變法，以及光緒召見時的情況。談到商務印書館，毛澤東說商務出版的書有益於人民大眾，他讀過商務出版的《科學大綱》，從中得到很多知識。毛澤東還說，商務出版的《辭源》，他在延安時總是放在案頭，寫作時常常翻閱。1949年10月11日晚上，毛澤東在中南海頤年堂約見張元濟，並***進晚餐。張元濟向毛澤東建議，要想國盛民富，必須發展農業生產，毛澤東表示贊同。
1950年底，張元濟得知西藏和平解放，他懷著喜悅的心情於12月30日和次年4月15日、5月26日、8月29日四次寫信給毛澤東，並先後寄去“告存詩”《積雪西陲》和古詩《西藏解放歌》。毛澤東復信對這兩篇詩作給予高度評價。他們之間前後通信***有十多次。
1952年底，上海籌建文史館，中央決定請張元濟出任館長。但張元濟因偏癱床榻，沒有同意。翌年春，陳毅市長兩度到其榻前轉達毛澤東指示：“上海文史館首任館長非其莫屬”。他不再推辭。
1958年春，周恩來總理到上海視察，特地去醫院看望病情日趨嚴重的張元濟。當周恩來對他說“主席特托我來探望您”時，張元濟臉上流露出欣慰之情。壹年後張元濟謝世。 太平洋戰爭打響，上海“孤島”淪陷，商務印書館本部早已遷到後方，上海的商務發行所和各工廠都被查封，書籍被抄走460萬冊，鉛字50多噸，啟封時發還的只是壹小部分。
張元濟仍留在那裏苦撐危局，既不向日偽當局註冊，更拒絕日偽的“合資”、“合作”，只以印刷壹些舊版書籍 。
民國時期的張元濟和古籍勉強維持營業。他自己的家庭境況也日益窘迫，連為數不多的善本書都陸續賣掉了。即使如此，他也從來沒想過要低頭。大約1942年初，兩個日本人前來求見張元濟，他在對方的名片背後寫下“兩國交戰，不便接談”八個字，拒絕見面。他與汪精衛本來有私交，上世紀20年代，他去廣州，汪曾陪同他拜謁黃花崗烈士墓。當汪與日本人合作後，他就不再與其有任何來往，汪托人帶來與陳璧君合著的《雙照樓詩集》，他嗤之以鼻，始終不予理睬。
在壹位親戚的建議下，張元濟開始賣字，他寫給商務天津分館經理的信中說：“上海百物昂貴，生計大難。弟今歲起以鬻書度月。”他參考當時書家的潤例，制定壹份“鬻書潤例”，除了請京、津、杭等商務分館分發潤例、代收寫件，還將書法交給榮寶齋、朵雲軒、九華堂、汲古閣等書畫店代銷。當時他刻有壹枚圖章，有“戊戌黨錮孑遺”字樣。他孫子張人鳳記得，每隔幾天，他就要在飯桌上寫幾件書法作品：“祖父用壹個圓形的大硯臺。竹制的筆筒內插滿了大大小小的毛筆。他寫得最多的是對聯。先將裁好的宣紙摺成七格，在飯桌上鋪好厚厚的幾層報紙，再將宣紙鋪上拂平，然後揮筆。有時我站在旁邊看著他寫，有時站在他對面，寫完壹個字，幫著將紙向前挪動壹點。祖父有幾本楹聯手冊之類的東西，可能是根據求字人的身份、愛好，挑選詞句。他揮筆時，我們在旁邊是不能說話的，寫完了，可以向他問長問短。”
汪偽政府的浙江省長傅式說附庸風雅，托張元濟的壹位親戚送去壹幅畫卷，請他題字，還附有11萬元的支票，他從支票的印章發現是傅式說，馬上斷然拒絕，退回支票，修書壹封，其中說：“是君為浙省長，禍浙甚深……以是未敢從命”。