宋太宗親自從北漢遊歷到太原，平日裏早就聽說過楊業的名聲。他曾經花了很多錢買他。不久，太原城被宋軍包圍，成為壹座孤立的城市，形勢岌岌可危。楊業勸北漢主劉繼元主動投龍，以救太原城百姓之命。劉繼元即位後，宋太宗派宮中使者召見楊業。他很高興，要求任命楊業為右首。大軍(去北漢)凱旋歸朝鮮後，授鄭州刺史楊業。宋太宗認為楊業在邊防事務上經驗豐富，便提拔他為代州和三交兵馬所用。就在契丹大軍入侵雁門關之際，楊業率領麾下數千騎兵從代州北部的西橋村出發，從小路向雁門關北門進發，從北向南夾擊契丹軍隊，徹底擊潰了契丹軍隊。因為戰功卓著，楊業被提升為雲州刺史，仍掌管鄭州、代州。從此以後，契丹軍隊只要壹看到楊業的軍旗，就立刻撤退，逃之夭夭。
雍熙三年(986年)，宋軍開始大規模征討契丹，任命忠誠的軍事力量潘美為雲營和陸穎營的部署，命楊業為潘美的副手。然而，它被打敗了。不久，宋太宗頒布聖旨，將鄖縣、潁縣、阿特拉斯縣和朔州市的居民遷往內地，並命令潘美等人帶領部隊護送這些居民。這時，契丹皇太後蕭和她的大臣漢寧、南北皮。，與吳體銀率領十萬大軍奪回寰州。楊業對潘美等人說:“現在遼軍士氣正盛，不能與之戰。”監軍首先說道:“妳壹向被稱為‘無敵楊’。遇到敵人怎麽能不戰而屈人之兵？妳是不是另有所圖？”楊業說:“我不怕死，但我不能立功，因為時勢對我們不利，我白白犧牲了我的士兵。現在(既然)妳怪我不願犧牲，那我就先妳壹步上戰場。”
出兵前，楊業流著淚對潘美說:“這次出兵必然失敗。”於是，楊業指著陳家谷口(代州西北)說:“請將軍和弓箭手埋伏在這裏，分成左右兩翼，準備支援。等我兵敗撤退到這裏，妳就用伏擊從左右夾擊敵人來救我。否則恐怕全軍覆沒，壹個都不剩！”潘美和王琦首先帶領他的士兵在陳家谷口排隊。從到，王
齊國先是派人在托洛臺前觀望戰場，以為契丹軍隊被楊業打敗而逃，想與楊業抗衡，立即率軍離開陳家谷口。潘美攔不住，就(率軍)沿灰河向西南方向行軍20裏。不久，潘美聽到楊業戰敗的消息，立刻指揮軍隊撤退。楊業苦戰，從中午壹直打到晚上，因此受傷幾十處，將士幾乎全部戰死。楊業還親手殺死了數百名敵人。後來因為馬受了重傷，無法前進，被契丹軍俘虜。他的兒子楊延玉也死於這場戰役。楊業擡頭望天，嘆道:“太宗待我甚厚。我本希望以攻敵守邊來回報皇帝的恩情，卻被奸臣逼得出兵，導致軍隊壹敗塗地。我能有什麽臉活下去！”於是他禁食三天，就死了。