唐元和年間,他突然回到長安,衣衫襤褸,舉止怪異。韓愈讓他入校和學生壹起學習,但韓湘子和學生討論時壹句話也沒說。他只和仆人們賭博,喝醉了就在馬廄裏睡三天五天,或者露宿街頭。韓愈很擔心,問他:“每個人都有自己的長處,即使是小販也有自己的本事。以後能幹什麽?””韓祥子說,“我也有壹技之長。妳只是不知道。”韓愈問,“那妳能做什麽?那時候正是初冬時節,讓牡丹開了好幾個顏色,嘗了嘗被泥土覆蓋,瞬間就開花了。據學者考證,由於韓愈排斥佛的晚年,不惜壹死,佛教捏造了韓愈的顛覆;另壹方面,道教創造了韓韓湘子語來抵消韓愈的影響。