張俊字伯英，鳳翔府成紀人。愛好射箭，富有才氣。出身於群盜之中，十六歲時，是三陽地區弓箭手。政和七年(1117)，隨從征討南方少數民族，轉任都指揮使。宣和初年，隨從進攻西夏仁多泉，開始授予為承信郎。平定鄆州賊盜李太以及河朔、山東武胡群盜，功勞最大，進為武德郎。
靖康元年(1126)，因為守衛東明縣有功，轉為武功大夫。金軍進攻太原，宋軍固守城池，朝廷命令制置副使種師中率部前往增援，駐紮在榆次。金朝用數萬騎兵前來進攻。張俊當時是隊將，率隊進擊，殺傷敵人甚多，繳獲馬匹壹千匹，請求乘勝邀擊敵人。種師中認為時日不利於作戰，急忙下令後退到榆次自保。金軍偵察到張俊的計謀不被采納，發動全部兵力包圍榆次，進攻更急迫。榆次被攻破，種師中戰死。張俊率所部數百人突圍而出，邊行邊戰，來到烏河川，再次同敵遭遇，斬殺敵人五百人。
金兵包圍汴京，高宗當時是兵馬大元帥，張俊率兵隨從信德守將梁揚祖前往救援。高宗看見張俊像貌雄偉英武，擢升他為元帥府後軍統制，累次立功轉任榮州刺史。建炎元年(1127)正月，隨從高宗到東平府。當時壹股勢力強盛的盜賊李昱占據兗州，命令張俊為都統制率兵前去討伐。率領數名騎兵突入敵陣奮勇戰鬥，各軍將士爭相奮擊，於是殲滅賊盜。晉升為桂州團練使，不久又加任貴州防禦使。
中書舍人張贗，從汴京帶來欽宗藏在蠟丸中的詔書，命令高宗把軍隊交給副元帥返回京城，高宗詢問計策，張俊說“：這是金朝詭詐的陰謀。現在大王身在外面，這正是天賜大王皇位，怎麽隨便前去？”請求進兵，高宗答應了他，於是來到濟州。
慶賀欽宗生日，接近夜晚，有人報告高宗，打算等元帥進香時劫掠叛變。眾人計議集中各軍加強戒備，張俊說：“元帥不出去，奸謀自然就會破滅。”於是轉移州府所在地。賊盜技窮，黎明時分，引軍北逃，張俊率兵把他們追殺。晉升為徐州觀察使。
高宗因張俊功勞日益增多，升他為拱衛大夫。不久汴京被攻破，徽宗和欽宗被擄北去，人心惶惶不安，張俊懇切勸說高宗即位，高宗流淚不答應。張俊說：“大王是皇帝的親弟弟，人心歸向，正當天下動蕩不安時，不早日登上皇位，便難以滿足民眾的期望。”並且告訴耿南仲上奏勸說，耿南仲三次上奏。高宗離開濟州，張俊隨從護衛。到達應天府，高宗才即帝位。開始設置禦營司，以張俊為禦營前軍統制，派他回京迎接隆佑太後。權充秦鳳兵馬鈐轄。不久迎接太後和六宮歸來，任帶禦器械。
當時江淮地區盜賊蜂起，張俊在淮寧征討杜用，在鎮江討伐趙萬、郭青，在杭州征討陳通，在蘭溪征討蔣和尚等，都壹壹平定。解除他的虛銜，任真正的觀察使。建炎二年(1128)，升任秦鳳路馬步軍副總管，不久擊破秀州賊盜數萬人，俘虜徐明將他斬首。進為武寧軍承宣使。
高宗到揚州，召集眾將商議恢復中原事宜，張俊說：“當今敵人勢力正處於強大之時，應該暫且南渡長江，占據長江作為天險，整軍練兵，安定人心，等到國家形勢安定下來後，再大舉行動不晚。”張俊又請求把左藏庫移到鎮江。不久敵軍突然來到，已逼近城郊，張俊急忙上奏整飾車馬，隨從高宗逃到臨安。
苗傅、劉正彥反叛，張俊當時率兵屯駐在吳江縣。苗傅等偽作詔令加張俊為捧日、天武四廂都指揮使，率三百人趕往秦鳳，並命令其他將領率領剩下的軍隊。張俊知道詔令是假的，拒不接受。全軍上下人心惶恐，張俊勸說他們說：“應該到張浚那裏請求決定。”於是立即率領所部八千人到平江。張浚對張俊說及苗傅等人打算危害國家，涕淚縱橫而下，張俊也大哭。張浚曉諭他以決定起兵反叛之罪討伐苗傅，張俊哭泣下拜，並說“：這必須妳用計謀輔助，不要驚動皇上。”呂頤浩到，張俊會見他，也流淚說“：今天只有壹死報效國家了。”劉光世率領所部到來，張俊同他冰釋前嫌。韓世忠從海上來到，張俊軍壹部同他俱至。韓世忠為前鋒，張俊率精兵作為兩翼，劉光世隨後。在臨平展開激戰，苗傅等失敗，打開城門逃跑。韓世忠、張俊、劉光世進入城中，在內殿拜見高宗，高宗稱贊慰勞了很長時間，拜張俊為鎮西軍節度使、禦前右軍都統制，不久又任浙東制置使。
金兵分路深入，渡過長江進攻浙江，杜充放棄建康，韓世忠從鎮江退保江陰。高宗到明州，張俊從越州率兵趕到。兀..進攻臨安，高宗乘坐樓船到溫州，留下張俊在明州抵禦敵人。高宗賜給他親筆書信說“：我沒有妳，那麽誰肯率先倡議早登帝位；妳沒有我，那麽將前功盡棄。應該努力抵禦敵軍，壹旦成功，我將封妳王位。”這年除夕，金軍來到城下，張俊派統制劉寶同敵交戰，宋軍稍稍後退，部將黨用、丘橫戰死，於是統制楊沂中、田師中、統領趙密都殊死搏鬥。楊沂中舍船登岸苦戰，殿前司將領李質率領班直前來助戰，明州守將劉洪道率領州兵在旁邊射擊敵人，大敗金軍，殺死數千人。金兵呼叫派人到營中議事，張俊派壹小校前往。金兵同他說，打算到越州請求投降，張俊拒絕了這壹要求。戒令將士不要驕傲輕敵，考慮敵人必會重來，下令堅壁清野，多用小船裝載強弩，閉關自守。
建炎四年(1130)正月初壹，忽起西風，金軍乘此機會，果然又向明州發起進攻。張俊和劉洪道坐在城樓上，派兵掩擊金軍，雙方傷亡大體相當。金軍奔逃，溺水死於江中的不計其數，連夜拔營撤走，屯駐余姚，並且向兀..請求增兵。過了七天，金軍再次來到，張俊率兵進入臺州，明州居民逃走的十占七八。
不久，江、浙壹帶盜賊蜂起，朝廷授張俊為兩浙西路、江南東路制置使，率領所部招降群盜，並命令後軍統制陳思恭隸屬他指揮，還下令兩浙宣撫使周望以所部兵隸屬張俊，除劉光世、韓世忠以外，眾將都由張俊指揮。六月，朝廷改禦前五軍為神武軍，張俊部改為神武右軍，他本人任都統制，升為檢校少保、定江昭慶軍節度使。十月，浙西群盜全部平定，張俊改任江南招討使。
紹興元年(1131)，高宗到會稽。當時正值金軍殘害蹂躪之後，孔彥舟占據武陵，張用占據襄漢；李成尤其精悍，強行占據江淮、湖湘地區十余個州郡，合兵數萬人，有席卷東南地區的意圖，大肆散布符咒讖言迷惑煽動人心，包圍江州長時不解圍，當時朝廷正為此感到憂慮。範宗尹請求派遣將領前去征討，張俊慷慨請戰，於是改任江、淮路招討使。
李成黨羽馬進在筠州。豫章介於江、筠州之間，張俊接到命令就率部出發，急赴豫章，並且說：“我已經得到洪州，擊破賊寇是必然的。”乃收縮兵力進入城中，好像城中無人，金鼓不動，命令將士有登上城墻的斬首。居留壹個多月，馬進送來壹封很大的書信要求決戰，張俊寫了壹封很小的書信回答，馬進以為張俊害怕。張俊偵察到賊眾戒備松懈，才準備作戰。嶽飛為先鋒，楊沂中從上遊斷絕生米渡，出敵不意，追擊奔逃的敵眾七十裏，到達筠州。賊寇背靠筠河布列陣勢，張俊采納楊沂中的計策，親率步兵在敵陣對面進攻，把精銳騎兵數千人交給楊沂中和陳思恭，讓他們從山後夾擊敵人，以中午為期限。張俊同賊寇激戰到中午，楊沂中、陳思恭率領精銳騎兵從山下急馳而下，賊眾驚駭混亂退走，大敗。
收復筠州、臨江軍之後，捷報上奏朝廷，高宗賜親筆書信，說“：應當乘賊眾勢力已衰弱之際，官軍士氣振奮之時，長驅鏟除剿滅賊寇，迅速爭取徹底勝利。”張俊沒有等到拜受高宗親自書寫的詔令，就已經追擊賊眾到北奉新樓子莊。賊寇黨羽商元占據草山，依憑險要地形布設埋伏，張俊派遣步兵從小道直奔山上，殺死伏兵奪得險隘，乘勝追擊至江州。李成形勢危急，渡江而逃，稱呼張俊為“張鐵山”。張俊收復江州。不久興國軍等處群盜聽說張俊率兵來到，都逃走。張俊率兵渡江到黃梅縣，親自同李成交戰。李成接受奉新喪失險隘失敗的教訓，占據石幢坡，憑借山險用木石滾壓官軍。張俊先派散兵前進，假做急奪險隘的樣子以迷惑敵人，自己親自冒著箭矢滾石，率眾攻取險隘，賊眾數萬人全部崩潰，馬進被追兵殺死，李成逃到北方投降劉豫，各郡全部平定。朝廷拜張俊為太尉。
紹興四年(1134)十月，金朝和劉豫分兵數道入侵。開始消息傳來，舉朝震驚恐慌，有人請求高宗逃避到其他地方。張俊對趙鼎說：“準備逃避到哪裏去呢？只有向前進壹步，才能免除禍難。應當集結天下的兵力守衛平江，慢慢圖謀對付敵人的計策。”趙鼎說“：妳說逃避不是良策，是對的；但用天下所有的兵力守衛壹州，又不對。妳只管堅持前面議論就足夠了。”於是任命張俊為兩浙西路、江南東路宣撫使，屯駐建康。不久改任淮西宣撫使。瀕臨長江同敵人相持超過壹個月，敵人終於沒能南進。張俊派張宗顏悄悄渡江到六合，出敵背後。敵軍準備退走，張俊又派王進說：“敵軍既然已經無心留下，必然徑直渡過淮河北去，應立即在其沒有渡河時攻擊它。”王進前往，敵軍果然渡河，於是在淮河向敵人發起進攻，大敗敵軍，俘虜敵將程師回、張延壽獻給朝廷。
紹興五年(1135)，劉麟率兵入寇，張俊和楊沂中合兵在泗州抵禦。紹興六年(1136)，張俊改為崇信、奉寧軍節度使。劉麟率兵十余萬進犯濠、壽州，朝廷詔令以淮西隸屬張俊，楊存中也聽從他指揮，同張俊合兵抵禦敵人。張俊分別派遣楊存中和張宗顏、王瑋、田師中等人，從定遠軍到趙家坊，遇到劉猊左右軍，將其擊退。張俊率領大軍擊鼓前進，到達李家灣同劉猊大部隊遭遇，雙方交戰，劉猊軍全軍覆沒，投降的達到壹萬多人，劉猊只身逃脫。朝廷拜張俊為少保，加鎮洮、崇信、奉寧軍節度使。高宗說：“妳的議論持平慎重，深刻了解敵情，統率精銳部隊數萬人，報效國家像這樣，我還有什麽憂慮。”又說“：群臣說我對待妳特別優厚，妳應該體念我的眷顧關懷，更加努力報效。”
紹興七年(1137)，張俊改任淮南西路宣撫使，把宣撫司設在盱眙。張俊和韓世忠入朝覲見高宗，計議轉移防地。秦檜上奏“：臣曾經說韓世忠、張俊，陛下依賴這兩位大將，譬如兩只猛虎，本來應當各自守衛國家門戶，使敵人不敢逼近。”高宗說：“他們正如左右兩手，怎能壹手不盡力呢？”命令張俊從盱眙移屯廬州。紹興八年(1138)，金朝請求休戰，宋朝答應了。高宗賜張俊為“安民靖難功臣”，拜官少傅。
紹興九年(1139)冬，金朝又毀棄盟約，再次攻破河南，圖謀攻取順昌府，命令張俊率兵策應劉钅奇。張俊督促軍隊渡過長江，金軍退走。不久金朝三路都統從東、南兩京分路前來侵犯，進抵亳州北邊渡過黃河，張俊派宿、亳各軍出擊，全部收復衛真、鹿邑等地，回師。紹興十年(1140)，酈瓊在亳州，張俊率大軍到達城父，都統制王德攻占符離，乘勝直趨亳州同張俊會合。張俊率兵入城，金軍棄城逃遁，父老百姓排列香案鮮花迎接張俊，於是收復亳州，留下統制宋超鎮守。張俊率軍返回壽春，朝廷進他為少師，封濟國公。
紹興十壹年(1141)二月，兀..進入合肥，進攻歷陽，江東制置大使葉夢得會見張俊，請求迅速出兵。張俊派兵渡江，對眾將說“：先奪取和州的有賞。”王德願意作為各軍的前鋒，士兵鼓噪前進，敵軍已經占據和州，王德率部在采石渡江首先登岸，張俊夜宿中遊。王德進抵城下，金軍退屯於昭關，三天後，又在含山擊破金將韓常軍。張俊命令關師古收復巢縣，於是收復昭關。派左軍統制趙密在竹林中悄悄行軍，出六丈河以分散金軍。張守忠率五百名騎兵在全椒擊敗金軍。不久，敵人截斷橋梁以抵禦張俊，張俊生病，帶病率眾涉河登岸，追擊敵人。王德同楊存中、劉钅奇合兵，在柘臯擊敗金軍。朝廷任命張俊為樞密使。張俊了解到朝廷打算罷免各大將兵權，首先請求交還所統轄的兵力。朝廷獎賞宿、亳之戰有功人員，張俊部將王德、田師中、劉寶、李橫、馬立、張氵解六人同壹天首先受到重賞。
張俊極力贊同與金朝講和，與秦檜意圖相合，對秦檜的言論無不聽從。推薦士大夫擔任監司、郡守的有很多人。劉子羽從被貶謫中起家，也是張俊出力的結果。朝廷加張俊為太傅，封廣國公，不久進為益國公。紹興十二年(1142)十壹月，由於殿中侍禦史江邈彈劾他，罷免為鎮洮、寧武、奉寧軍節度使，充任醴泉觀使。當初，秦檜因為張俊贊同與金講和，感激他，因此眾將全都罷免，將兵權交給張俊。過了壹年多時間，張俊沒有交出兵權的意思，因此秦檜指使江邈攻擊他。不久進封為清河郡王奉朝請。
紹興十三年(1143)，詔令為張俊修建府第，派宦官在府中賜宴，以教坊樂部在旁勸酒助興。紹興十六年(1146)，改為靜江、寧武、靜海軍節度使。紹興二十壹年(1151)冬，高宗來到張俊府中，拜他為太師，任命他的侄兒清海軍承宣使張子蓋為安德軍節度使，其余子弟有十三人升官。
宋朝南渡以後，張俊最早掌握兵權，屢立戰功，同韓世忠、劉钅奇、嶽飛都是著名的將領，世人稱為張、韓、劉、嶽。但濠、壽之戰，張俊和劉钅奇不和，只以楊沂中為心腹，因此造成了濠梁之難。嶽飛冤案，韓世忠營救嶽飛，張俊獨自幫助秦檜構成冤獄，四人心術高下不同，相距十分遙遠啊！高宗在眾將中對張俊特別愛護優厚，但是警告他的話也從未離口。自淮西入朝覲見，高宗教他閱讀《郭子儀傳》；召入宮中，告誡他不要與民爭利，不要大興土木。
紹興二十四年(1154)六月去世，時年六十九歲。高宗停止上朝視事三天，以壹品官服收殮，高宗親臨祭奠痛哭。追封他為循王。