淳熙 7年，他致仕後開始了晚年在上饒的真正閑居生活。韓元吉壹生中效的人物有數百位，而重要的人物有 4位。其中呂祖謙是他的女婿，先他而逝。陸遊是他交往時間最長的朋友。朱熹是他學術上的諍友，而辛棄疾則是他退居上饒時來往最密切的朋友。辛棄疾最後定居上饒的時間是在淳熙 9年，即他的帶湖新居落成之後。對他而言，韓元吉是政壇和文壇的老前輩，事實上，元吉還是當時上饒文壇的盟主，辛棄疾因此對韓元吉非常尊重。《稼軒詞》“帶湖之什”有 5首給韓元吉的壽詞，又有 5首與韓元吉的唱和詞，足見兩人交往密切。辛棄疾給韓元吉的祝壽，最早的壹首是作於淳熙 9年（ 1182）的《太常引·壽韓南澗尚書》，而最有名的壹首是作於淳熙 11年（ 1184）的《水龍吟·甲辰歲壽南澗尚書》詞雲：
渡江天馬南來，幾人真是經綸手？長安父老，新亭風暴，可憐依舊。夷甫諸人，神州沈陸，幾曾回首！算平戎萬裏，功名本是，真儒事，公知否。況有文章山山歌酒。待他年、整頓乾坤事了，為先生壽。
詞中辛棄疾對韓氏家庭、韓元吉本人贊美有加，他們兩人的感情基礎主要還在於有***同的抗戰理想，這在詞中表現得非常清楚。韓元吉亦為辛棄疾作《水龍吟》壹闕雲：
南風五月江波，使君莫袖平戎手，燕然未勒，渡瀘聲在，宸衷懷舊。臥占湖山、樓橫百尺，詩成千首。正草蒲葉老，鞭蕖香嫩，高門瑞，人知否？涼夜光牛鬥，夢初回，長庚如晝。明年看取， 旗南下，六騾西走。功畫淩煙，萬釘寶帶，百壺清酒。
韓元吉在詞中對辛棄疾投閑帶湖的生活有非常形象的描繪，是當時詞作中最真實且貼切後首。當時，韓元吉住在上饒城南，築蒼筤亭；而辛棄疾的帶湖莊園則在上饒城北，莊園最豪華的建築當為雪樓。冬天，韓元吉從城南載酒去帶湖與辛棄疾壹道在雪樓觀雪，故辛棄疾有《念奴嬌·和韓南澗載酒見過雪樓觀樓》壹詞，詞上闕雲：“兔園舊賞，悵遺蹤、飛鳥千山都絕。縞帶銀杯江上路，惟有南枝香別。萬事新奇，青山壹夜，對我頭先白。倚巖千樹，玉龍飛上瓊闕……”。詞中“縞帶銀杯江上路”是寫雪中的信江；“青山壹夜，對我頭先白”應指帶湖附近的篆岡和吉陽山。
辛棄疾《水調歌頭·慶韓南澗尚書七十》壹詞，作於淳熙 14年（ 1187）據《南澗甲乙稿》中載《南劍道中詩》自註，稱“生於戊戎，至甲子年二十七。”查戊戍年為徽宗重和元年，至淳熙 14年丁未，恰為 70歲。但韓元吉在這次的 70壽辰之後不久即下世，這首詞因此成為韓元吉收到的最後的祝福。
淳熙 9年朱熹從臨安歸福建，途徑上饒，住在韓元吉家。第二天，韓元吉約了當地的詩人徐衡仲壹道陪朱熹遊南巖壹滴泉，辛棄疾知道後亦趕來相會，這便是上饒文化史上著名的南巖之會，關於南巖之會的具體情形，元吉之子韓淲《澗泉集》中《訪南巖壹滴泉》有真切的追憶，這已經在《辛棄疾傳》有詳細的描述，此不贅述。
在上饒，韓元吉與朱熹壹直保持著密切的聯系，淳熙 10年（ 1183），朱熹率門人在武夷山下建武夷精舍，初成之際，請韓元吉作《武夷精舍記》。淳熙 11年（ 1184） 2月，朱熹著名的《武夷櫂歌》 10首壹出，韓元吉是第壹個為作和歌的。和歌本有 10首，今僅存壹首。《南澗甲乙稿》卷六《次櫂歌韻》詩雲：“宛宛溪流九曲灣，山猿時下鳥關關。釣礬茶竈山樂，大隱蒼屏日月閑。”
朱熹作為理學家，與當時的文支並不隔膜，他對上饒的詩人的趙蕃、徐斯遠、韓仲止都有過評價。據其上饒的弟子陳文蔚記載：“先生每得未見書必窮日夜讀之……壹日得韓南澗集，壹夜與文蔚同香，倦時令文蔚讀，聽至五更盡卷，曰：壹生做詩只有許多。”從他壹夜與弟子同看詩集，看得實在疲倦而又叫弟子讀給他聽，憑此壹點足見他對元吉詩歌的著迷程度。但朱熹畢竟是理學家，他最後的壹句評語便反映出對韓元吉的惋惜，認為他僅僅是壹個詩人，而終究不能成道學。朱熹還是最早對韓元吉詩進行評論的人，他說：“無咎詩做著者盡和平，有中原之舊，無南方啁晰之音。”若從文學史角度看，元吉的詩詞應該在文學史占壹席之地的，只是學者對他重視不夠。
淳熙 14年，剛度過 70歲生日不久的元吉去世了，陸遊在《祭韓無咎尚書文》中評價他的詩文是“落筆天成，不事雕鐫。如先秦書，氣充力全，”這是今日所能見到的對元吉作品最恰當的評價，是壹點不誇張的。陸遊是當時最長壽的詩人之壹，他的許多詩友比他年輕的或比他年長的都壹個個先他而去。留下的雖然活著，但都是孤獨地活著。對於陸遊來說，回憶老朋友便常常在為他的日課。有時候，他偶然打開書篋，看到了韓元吉的來信，便觸景生情，作《開書篋見韓無咎書有感》。陸遊集中有許多記夢詩，其中有兩首是寫夢到元吉的，特別動情，其中壹首雲：
積雪欲照夜，老雞方唱晨。
諸公逝不久，幽夢忽相等。
話舊殷勤意，追觀見在身。
悠然又驚覺，撫枕壹悲辛。
還有壹首是寫與韓元吉同回京口，遍覽勝景，互相唱和，壹覺醒來，知為夢境，便籍枕作詩雲：
隆興之初客江臯，連攘結駟皆賢豪。
坐中無咎我所畏，日夜酬唱兼詩騷。
有時贈我玉具劍，間亦報之金錯刀。
舊遊忽墮五更夢，舉首但覺鐵翁高。
……
詩中陸遊稱元吉所作詩歌，使他敬畏，這也是對元吉的另壹種評價，反映了陸遊對韓元吉的尊重。
著名的詩評家方回，在《瀛奎律髓》中論韓元吉時稱：“韓尚書南澗本桐木派，有《甲乙集》……當是時，巨儒文士甚盛稱無咎與茶山。”方回還認為在江西詩派流行的當日，韓元吉詩不落流行，自成壹家，實為難得。韓元吉的詩文後來不傳，到清代《四庫全書》編者才從《永樂大典》中輯錄到 22卷，即今存於《四庫全書》中的《南澗甲乙稿》中立壹補傳。繼方回之後，《四庫》館臣對元吉的評價是符合歷史事實且最為重要的。《提要》雲：“統觀全集，詩體文格均有歐蘇之遺，不在南宋諸人之下，而湮沒不傳，殆不可解。然沈晦數百年，忽出於世，炳然發翰墨之光，豈非精神光彩終有不可磨，誠者故靈物 訶，得以復顯於今歟？”
元吉之子韓淲也是當時著名的詩人，號澗泉，與號章泉的趙蕃齊名，時人稱為“上饒二泉”，韓淲有短期仕歷，基本上以詩人終其壹生。韓元吉死後墓葬城東，其子孫定居在上饒各地，尤以鉛山為多。