明朝沒有宰相壹職，內閣大學士中只有壹位學長被封為“首輔”。記錄很受皇帝的尊重和信任，權力很大，所以很多人爭相去做。張初入仕之時，正是嚴嵩與爭錄之時。張拜徐階為師，見嚴嵩是敗壞朝政的實錄，便接著要求皇帝進行改革。但皇帝不理會張的筆記，於是張只好請假返回江陵。
三年後，穆宗即位，嚴嵩下臺，任命徐階為首輔。張立即被提拔入內閣。他與高拱合作，開始提拔人才，整頓吏治，平反冤獄，收拾人心。由於張做事踏實，徐階派張擔起邊防重任，於是重用老將李和王崇古鎮守遼東，又抽調譚綸和戚繼光加強邊防，使來犯之敵全部無功而返。
公元1572年，穆宗去世。在慈禧太後的支持和宦官的配合下，張當政，進行大改革，表現出利國利民的願望。
首先，張告訴官員們，六部六科采用“考試法”，京官和地方官定期考核。只要有法必依，賞罰分明。任何擁有少於90%應稅谷物的人都將受到懲罰。接下來是吏部的責任，把不管事的閑人全部裁掉，從而確定行政制度的執行，進壹步明確吏治。
接下來，張實行“壹鞭法”簡化納稅服務，因為明朝的稅制除了田賦之外還包括徭役，項目之多往往給百姓帶來不便，給了很多地方士紳濫用公利、助私利的機會。壹條鞭子正好可以彌補這個不足。因為張簡化了朝貢:官合，役歸地；還清理了全國的土地，按照土地的多少征稅，官方封了英鎊。這樣，不僅人民感覺很方便，而且逃稅人數大大減少，增加了國家的稅收。
此外，他還治理黃河、淮河，消除水災，使沒落的政治變得更好。但因為國賣命，死於公元1582年，享年58歲，追求文忠。
張的改革改善了國家的財政狀況，在壹定程度上減輕了農民的負擔，但改革也遭到了官僚地主的強烈反對。死後受到宦官張承和保守派官僚的攻擊。在天啟之時，恢復妳的名譽，並給予埋葬犧牲。有《章太月集》和《書經直釋》。