公元581年,隋文帝暗中有吞並江南的想法。覺得韓擒虎是個多面手,想得到重用,就把自己拉到身邊,任命他為廬州刺史,把安撫陳楠的重任交給他。敵人知道是後來,非常害怕。588年,他大舉討伐陳楠。他率領五百士卒為先鋒,夜間渡河,攻采石,再攻姑蘇,攻了半天,又繼續攻新林。當時人們都知道他的名氣、名聲、操守,都來軍門看望他。陳當時就怕了,、盧士楨、等紛紛投降。
楊光還派了壹名行軍總管去會見他。當時步兵和騎兵多達兩萬人。這時,陳領兵守衛朱雀航空。聽說他要來攻城,嚇得落荒而逃。當敵人戰敗投降後,他率領500人攻打朱雀門。當時,陳楠的士兵準備戰鬥。投降的將軍說:“我投降了。妳想要什麽?”所有人都放棄了抵抗。平定金陵後,活捉了陳。
然而,回國後,韓擒虎和何若碧卻為榮譽而戰。何若弼在隋文帝面前說:“我在蔣山戰鬥至死,擊退了敵人的精銳部隊,活捉了敵人的將軍。最後,陳果被平定了。妳怎麽能跟我比呢?”韓擒虎回答說:“我奉命加入妳的軍隊,攻擊首都。就因為妳冒險在我面前發兵,遇到敵人就開始打,士兵傷亡慘重。我們五百人不流血攻占了金陵。他們投降了,活捉了陳,占領了國庫,搗毀了老窩。妳直到晚上才敲門,要補救妳的罪過已經太晚了。妳怎麽能拿自己和信用比?”文帝聽後,說兩個人都要獎勵。
《隋書匯編》記錄了他去世前的事情。壹個老婆婆看到他門下有壹場大戰,好像是在皇宮裏,就上前詢問。有人在儀式上告訴她,他們是來見國王的,然後這群人就消失了。另壹個病得很重的人去韓擒虎家,說他想見國王。雙方都迷惑不解。他問國王是什麽,那人回答說:“閻羅王”。左右都想上去教教這種廢話,韓擒虎攔住他們說:“我死了以後做閻羅王就心滿意足了。”。之後,他因病去世,死後成為閻羅王的傳說流傳下來。