康熙十壹年（1672年）生，父康熙朝大學士張英。康熙三十九年（1700年）中進士。康熙朝歷任檢討、直南書房、洗馬、侍講學士、內閣學士、刑部侍郎、吏部侍郎等職。
雍正元年（1723年）升禮部尚書，次年轉戶部尚書，翰林院掌院學士，國史館總裁，太子太保。
三年（1725年），署大學士事。四年（1726年），晉文淵閣大學士、戶部尚書、翰林院掌院學士，並兼充康熙實錄總裁官。
六年（1728年），轉保和殿大學士兼吏部尚書。
七年（1729年），加少保銜。同年，因西北用兵，設軍機房於隆宗門內，與怡親王允祥、大學士蔣廷錫董其事。雍正皇帝臨終，命其與鄂爾泰並為顧命大臣。乾隆朝，以兩朝元老為朝廷所重，死後配享太廟。終清壹代，漢大臣配享太廟者惟張廷玉壹人。
張廷玉在任期間的主要工作在於擔任皇帝的秘書，對清廷政治制度的貢獻是完善了奏摺制度與軍機處的運作規則。與其他直接處理政務的大臣不同，歷史上並沒有留下太多關於張廷玉的具體事跡。
張廷玉為人謹小慎微，謹守「萬言萬當，不如壹默」（清：黃山谷言）。故雍正贊揚他「器量純全，抒誠供職」稱其為「大臣中第壹宣力者」。
曾先後纂《康熙字典》、《雍正實錄》，並充《明史》、《國史館》、《清會典》總纂官。
張廷玉身為大學士、軍機大臣，兼管戶部、吏部、翰林院，又擔任國史館和其他好幾個修書館的總裁官，職務繁多，工作忙碌，這是可想而知的。他自己說，雍正經常召見他，壹天召見二、三次，習以為常。西北用兵以後，“遵奉密諭，籌畫經理，羽書四出，刻不容緩”。從內廷出來，到朝房辦公，屬吏請求指示和批閱文件的常達幾十上百人。他經常坐在轎中批覽文書，處決事務。傍晚回到家中，仍然“燃雙燭以完本日未竟之事，並辦次日應辦之事，盛暑之夜亦必至二鼓始就寢，或從枕上思及某事某稿未妥，即披衣起，親自改正，於黎明時付書記繕錄以進”。雍正也說他和鄂爾泰二人“辦理事務甚多，自朝至夕，無片刻之暇”。
然而他有什麽政績呢？翻閱有關史料，我們驚訝地發現，在整個雍正朝，張廷玉只做了兩三件微不足道的小事情。他的事功不在於處理某件政事，而在文字工作和規劃建立軍機處制度以及完善奏折制度。
當雍正即位之初，辦理康熙喪事，特命吏部左侍郎張廷玉協辦翰林院文章之事，那時，“凡有詔旨，則命廷玉入內，口授大意，或於禦前伏地以書，或隔簾授幾，稿就即呈禦覽，每日不下十數次”。雍正五年，準備對準噶爾部用兵，七年，正式出兵。與此相配合，雍正設立軍機處，協助他處理軍務。軍機處的主要職能是遵奉諭旨，寫成文字，並予轉發。也就是說，軍機處主要是做文字工作。張廷玉為軍機大臣時，“西北兩路用兵，內直自朝至暮，間有壹二鼓者”。八、九年間，雍正身體不好，“凡有密旨，悉以諭之”。由於撰寫諭旨的需要，雍正每天召見張廷玉多達十幾次。由於雍正不分晝夜地召見，以至張廷玉要到晚上壹二更以後才能回去休息。雍正即位第壹年，張廷玉即升為禮部尚書，後又長期擔任大學士和軍機大臣，可是他在雍正朝所做的主要工作，又確確實實是這些文字工作。就連雍正本人，也認為張廷玉的作用是“纂修《聖祖仁皇帝實錄》宣力獨多，每年遵旨繕寫上諭，悉能詳達朕意，訓示臣民，其功甚巨。”承認他的功勞在於文字。且張廷玉所草之上諭，全合雍正本意，是以屢獲表揚。這文書工作，由身為大學士、軍機大臣的張廷玉來做，他自然就成了雍正皇帝的高級秘書了。乾隆時當過軍機章京的趙翼說，軍機大臣“只供傳述繕撰，而不能稍有贊畫於其間”。軍機處不過是皇帝的秘書處，軍機大臣實際上只是皇帝的高級秘書，這種地位和身份，張廷玉自然不能獨樹壹幟，建立創新的大功業。因此，他的作用和政績只能由參預機務和書寫文字方面來體現。
真正稱得上是張廷玉大事業的，是他規劃建立軍機處制度和完善奏折制度。“軍機處初設，職制皆廷玉所定”。軍機處成為清朝的中樞機構並深深影響清代中後期的歷史，這確實是張廷玉的大功業。另外，確立並完善奏折制度，使它成為清朝的主要官方文書，同樣是清朝官僚政治上的重大變化，並對清朝中後期的政治產生了十分巨大而深遠的影響。
軍機處始設於雍正七年（1729）。因與準葛爾部作戰，軍報往返頻繁，而內閣又距內廷過遠，且辦事效率不高，為了緊急處理西北軍務，“始設軍需房於隆宗門內”。軍需房是軍機處的最早叫法，以後又改為軍機房、軍機處。直到宣統三年（1911）改設責任內閣，執政壹百八十多年的軍機處才最終廢止。
軍機處設有軍機大臣，雍正帝從大學士、尚書、侍郎以及親貴中指定充任。還有軍機章京，由內閣、翰林院、六部、理藩院等衙門官員中選充。所有這些人都是兼職，他們的升轉仍在原衙門進行。軍機處沒有正式衙署，只有值班房，在隆宗門內，靠近雍正帝寢宮養心殿，以便於軍機大臣被召見議事。軍機大臣對皇帝負責，他的下屬軍機章京因系其他部門的官員兼任，他們之間沒有隸屬關系，很難結成同黨。軍機處不過是皇帝的秘書班子，它只能忠實執行皇帝的命令，不可能形成危害皇權的勢力。
擬繕諭旨是軍機處的主要工作。雍正帝每天召見軍機大臣，有時壹天召見數次，召見時，雍正帝指示各項事件應如何辦理，有時向軍機大臣詢問情況，聽取他們的意見，以作出裁決。軍機大臣面聆皇帝旨意，草擬文書。上諭形成後，不經過內閣，由軍機處直接發給有關官員。
在清代，皇帝的詔令有數種。雍正以後，由內閣傳抄發送的詔令，叫做“明發上諭”；由軍機處撰擬、抄寫、密封發出的詔令，叫做“寄信上諭”。“寄信上諭”因是由朝廷直接寄出，故又稱“廷寄”。所寄對象為高級官員，用“軍機大臣字寄”的形式寄送；其余則用“軍機大臣傳諭”的形式寄送。字寄、傳諭封函的表面都註明“某處某官開拆”，封口處蓋有軍機處印信，保密程度非常高。很顯然，軍機處承辦的“寄信上諭”最重要，內閣所辦理的“明發上諭”只是壹般性事務文書。
歸軍機處辦的事情，不問大小，“悉以本日完結”，絕不積壓。這樣的辦事作風，效率自然較高。寄信方法也是快捷的。張廷玉制定的廷寄辦法，最後形成壹套制度，是軍機處將上諭函封後交兵部，由驛站遞相傳送。軍機處根據函件內容，決定遞送速度，寫於函面，凡標“馬上飛遞”字樣的，日行三百裏，緊急事，另寫日行裏數，或四、五百裏，或六百裏，並有六百裏加快的。這就和內閣發出的“明發上諭”不同了。內閣的“明發上諭”，或由六科抄發，或由有關部門行文，多壹個衙門周轉，就費時日，保密也不容易，往往被地方官員探到消息，雇人先行投遞，在正式公文到來之前，他們已悉內情，作了準備，加以應付。所以，經張廷玉規劃，創廷寄之法，既保證了中央政令的嚴格貫徹，速度又較前加快，從而提高了清朝政府的行政效率。
奏折是壹種臣民上奏文書，它始出現於康熙年間，但在作者範圍、傳遞方法、疏奏內容及朱批等方面，都還沒有制度化。《清史稿·張廷玉傳》載：“廷玉定規制：諸臣陳奏，常事用疏，自通政司上，下內閣擬旨；要事用折，自奏事處上，下軍機處擬旨，親禦朱筆批發。自是內閣權移於軍機處，大學士必充軍機大臣，始得預政事，日必召入對，承旨，平章政事，參與機密”。自此以後，作為壹種官文書制度的奏折制度才被確立下來。不要小看這種文書制度，它的影響之大甚至遠遠超過中樞機構的興衰替廢。它不僅牽涉朝廷政令的推行，而且關乎君臣間權力的分配。它的確立和軍機處的設立壹樣，都是清朝官僚政治上的重大變化，對清朝中後期的政治產生了十分巨大而深遠的影響。
清朝入關之初，沿襲前明舊制，官員有事報告皇帝，公事用題本，私事用奏本。題本蓋印，奏本不蓋印。題奏本都由通政使司進呈，在皇帝閱批之前，內閣大學士已經“票擬”過。因此，這兩種文書都是公開的，不利於下情上達。其次，題本辦文程序太繁，運轉速度十分遲緩，而且由於經辦人員過多，容易造成泄密，使皇帝實施政務受到很大限制。自張廷玉把奏折制度化以後，稍微重要壹點的事務，地方官員都先撰擬奏折，經過皇帝朱批，認可了，才寫題本作正式報告。但奏折中的朱批內容，不得寫入題本，作為奏事的依據。這樣題本就成了官樣文章，價值大大降低。奏折代替了原來題本的作用，使它成為主要官方文書。這壹制度堅持到清末。
奏折剛產生時，有資格使用奏折的官員不太多。雍正踐祚之後，內苦於宗室諸王的訕謗排擠，外困於滿漢大臣的朋黨傾軋，急於求言，故放寬了臣民專折具奏的範圍和權限。到後來，有權上奏折者多達1000以上。
由於奏折所涉事情多系國家機密，所以奏折的保密性是非常突出的。不能保密，就不要上奏折，保密是書寫奏折的前提條件。為了保證奏折的內容不致泄漏，清廷定立了壹整套保密制度，使奏折制度更加完善起來：1、撰寫人須親自書寫，壹般不許他人代筆，寫成後不得外傳，否則治罪。2、由宮中制作皮匣，配備鎖鑰，發給具奏官員，專門用作儲藏和傳遞奏折。3、督撫以上大員的折子，派專人送到大內乾清門，交內奏事處，直達禦前，而不像題本交通政使司轉呈；壹般官員的折子，亦差專人送到雍正指定的親信大臣處，由他們代呈，代交人當然無權知道折子的內容。雍正帝閱畢，作了朱批，折子由原渠道發回。4、收回朱批奏折。康熙在位期間，奏折禦批發還具奏人後，尚無繳還內廷的規定。雍正壹登基，便下令內外臣子將朱批奏折全部查收呈繳。不但前朝奏折需交回，嗣後朱批發還本人看過之後，即需交回。由於實行了繳本制度，不但有效地防止了泄密事件發生，而且為後來保存了豐富的史料。5、加強軍機處的保密工作。規定：皇帝召見軍機大臣時，太監不得在側；每日承領事件人員，未到傳領時間不得進入軍機值房；嚴禁各衙門人員在軍機值房臺階外及附近處所站立竊聽；即使是高級的王公大臣，非奉特旨，也不準進入；自王以下文武滿漢大臣，都不準到軍機處找人談話。同時規定各章京在工作中嚴格執行交接制度，做到手續慎密完備。特別是文書收發登記，必畫押存查；個人承辦的事情，均不許任意喧泄；不經由自己辦理的事情，絕不許過問；撰寫寄信諭旨，辦理朱批奏折，都得在辦公房辦理；凡辦理機密事件時，軍機大臣指交壹二章京承旨，在軍機堂上繕寫後，要將底稿押封存記，俟查辦之事辦完後再行拆封登檔。如有泄漏，繕寫文件的章京要受到很重的處分。
在奏折的內容上，較之以前，更為豐富了。其中最重要的是利用奏折商討政務。雍正說：“本章所不能盡者，則奏折可以詳陳；而朕諭旨所不能盡者，亦可於奏折中詳悉批示，以定行止。”臣下可以將拿不準的問題提出來，請皇帝裁奪；皇帝對不了解的或不懂得的問題，可以詢問臣下，以增長見識，作出決斷。雍正朝的許多重大政事，如攤丁入畝政策等，就是雍正與有關大臣通過奏折反復籌商後定下來的。奏折用來討論政事、決定政策，不僅使它有了新的生命力，而且使它成了推行政治的壹種重要工具。由於奏折免去了中間環節的傳遞，又采用廷寄方法，不但能迅速遞到皇帝手中，而且在皇帝朱批禦旨後，又可直接發還上奏官員，馬上付諸實行，從而大大提高了行政效率，給清朝的政治帶來了積極的影響。同時，由於奏折都是秘密進行，於是在直省督撫與司道之間，地方與中央，內廷與外廷之間，除正常的領導與被領導等關系之外，又形成了壹種相互制約的關系。大臣相互告密，皇帝的耳目遍布京內外，誰也不知道誰向皇帝打了什麽小報告，中央部院和地方上的公私事件和人際關系，無論巨細，皇帝都可以從奏折中直接了解到。皇帝於是借助奏折整飭吏治，監察民情，發號施令，排斥異己，天下庶務總歸壹人處理，從而使封建皇權到了無以復加的地步。因此，“在中國章奏制度史上，雍正壹朝應該是最為多姿多彩的時代，而帝王對朱批運用的巧妙和有效，雍正也可以說是前無古人的了”。而這壹切，張廷玉是功不可沒的。說這是他的大事業大功業，壹點都不誇張。
在雍正朝，張廷玉主要從事的雖然只是文字工作，但由於他“周敏勤慎”，把全部精力都投入到這壹工作上來了，因而“尤為上所倚”。雍正五年（1727年），張廷玉曾患小病，雍正對近侍說：朕連日來臂痛，妳們知道嗎？近侍們吃驚地問緣故，雍正說：“大學士張廷玉患病，非朕臂病而何？”八年（1730年），賞銀20000兩，張廷玉辭謝，雍正講：“汝非大臣中第壹宣力者乎！”不許他推辭。當雍正身體不舒服時，凡有密旨，悉交張廷玉承領，事後雍正說：“彼時在朝臣中只此壹人。”（《澄懷園主人自訂年譜》卷三）確實，允祥死後，鄂爾泰入閣以前，張廷玉在滿漢朝臣中確實處於第壹個被信任者的地位，被雍正視為股肱大臣。十壹年（1733年），張廷玉回鄉祭祖，動身前壹天，雍正贈給張廷玉壹件玉如意，並祝願他“往來事事如意。”同時贈送物品及內府書籍52 種。《古今圖書集成》只印64部，獨賜張廷玉2部。雍正還賜張廷玉春聯壹副：“天恩春灝蕩，文治日光華”。後來張家年年用這副春聯作門聯。雍正臨終前，張廷玉與鄂爾泰等同被顧命，命他日配享太廟。終清世，漢大臣配享太廟者惟張廷玉壹人而已。
張廷玉任職年久，長期處機要之地，在雍正年間，他雖然“最承寵眷”，然而“門無竿牘，饋禮有價值百金者輒卻之。”他在皇帝身邊服務，擔負的又是機要文字工作，深知言多必失的道理，因而處處小心謹慎，辦事十分細致周到。他對黃山谷說的“萬言萬當，不如壹默”，極其傾倒，表示“終身誦之”。少說多做，既是他立身的主導思想，也是他的為官之道。他以皇帝的意誌為意誌，默默去做，不事張揚，事成歸功於人主，事敗自己首先承擔責任。雍正贊揚他“器量純全，抒誠供職”。乾隆稱許他“在皇考時勤慎贊襄，小心書諭”。作為領導人的秘書，這些確實都是很值得稱道的品質。