公元581年，隋文帝暗中有吞並江南的想法。覺得韓擒虎是個多面手，想得到重用，就把自己拉到身邊，任命他為廬州刺史，把安撫陳楠的重任交給他。敵人知道是後來，非常害怕。588年，他大舉討伐陳楠。他率領五百士卒為先鋒，夜間渡河，攻采石，再攻姑蘇，攻了半天，又繼續攻新林。當時人們都知道他的名氣、名聲、操守，都來軍門看望他。陳當時就怕了，、盧士楨、等紛紛投降。
楊光還派了壹名行軍總管去會見他。當時步兵和騎兵多達兩萬人。這時，陳領兵守衛朱雀航空。聽說他要來攻城，嚇得落荒而逃。當敵人戰敗投降後，他率領500人攻打朱雀門。當時，陳楠的士兵準備戰鬥。投降的將軍說:“我投降了。妳想要什麽？”所有人都放棄了抵抗。平定金陵後，活捉了陳。
然而，回國後，韓擒虎和何若碧卻為榮譽而戰。何若弼在隋文帝面前說:“我在蔣山戰鬥至死，擊退了敵人的精銳部隊，活捉了敵人的將軍。最後，陳果被平定了。妳怎麽能跟我比呢？”韓擒虎回答說:“我奉命加入妳的軍隊，攻擊首都。就因為妳冒險在我面前發兵，遇到敵人就開始打，士兵傷亡慘重。我們五百人不流血攻占了金陵。他們投降了，活捉了陳，占領了國庫，搗毀了老窩。妳直到晚上才敲門，要補救妳的罪過已經太晚了。妳怎麽能拿自己和信用比？”文帝聽後，說兩個人都要獎勵。
《隋書匯編》記錄了他去世前的事情。壹個老婆婆看到他門下有壹場大戰，好像是在皇宮裏，就上前詢問。有人在儀式上告訴她，他們是來見國王的，然後這群人就消失了。另壹個病得很重的人去韓擒虎家，說他想見國王。雙方都迷惑不解。他問國王是什麽，那人回答說:“閻羅王”。左右都想上去教教這種廢話，韓擒虎攔住他們說:“我死了以後做閻羅王就心滿意足了。”。之後，他因病去世，死後成為閻羅王的傳說流傳下來。