回到隨州後，胡子揚親自種植了兩棵桂花樹，並在自己居住的苦竹院內建起了餐飲霞樓。所謂“食霞”，就是取朝霞，是道教的壹種氣功功法。胡子洋的修道是眾所周知的。當時，多達3000名弟子來到南方的朱令和北方的白水學習。就連隨州周邊的府尹級官員前去拜見，胡子洋坐不住的時候，也要大雁飛舞般排著長隊等候。可見當時胡子洋的影響力有多大，人們對他的評價有多高！
和詩人交朋友，給詩人做媒人。
胡子洋的三千多弟子中，有壹個叫袁丹秋的，和詩人李白走得很近。《入酒》詩中寫著“岑大師，丹秋生，入酒，不歇飲。在詩中“讓我給妳唱首歌吧！，讓妳的耳朵參加！》，提到的“丹秋生”就是這個丹秋。
開元年間，在袁丹秋的推薦下，李白和他的朋友顏淵來到隨州，拜訪了胡子揚。胡子揚對李白和顏淵的到來非常高興。當晚在定夏樓設宴款待，隨州最高行政長官韓棟太守也來坐。席間，胡子揚興高采烈地帶來壹支笛子和雨聲，自己吹笛子，邀請李白演奏雨聲。韓棟的總督喝醉了跳舞。那天晚上，大家都喝醉了，李白都忘了自己是怎麽上床睡覺的。第二天早上醒來，發現自己披著太守的錦袍，靠在太守的大腿上。若幹年後，李白在他的壹首代表作《追憶似水年華·訪郡參軍》中回憶了這次會面:...我舍不得說再見，但我還是和妳壹起走。隨壹路遊仙城，三十六擰水纏綿。壹溪初入百花，萬壑皆風。銀鞍到達平地，韓棟太守迎接他。紫陽真人邀請我去演雨生。仙樂搬到樓上的餐廳，那裏像欒馮明壹樣嘈雜。袖長，韓棟太守舞醉。給我披上錦袍，我醉了，睡在枕頭上。酒席滿座，星辰不落雨。..... "在這首著名的詩中，“金白玉買歌笑，醉倦輕王侯”“晉祠流如碧玉”等詩句至今被引用在中學語文課本中。
當時，年輕英俊的詩人李白想向已故宰相許的孫女求婚，但他找不到著名的媒人。得知李白的想法後，胡子揚和“縣令”馬壹起前往湖北安陸白照山徐家，定下這門親事。開元十六年秋，李白娶了許的孫女，先後生下平陽壹女和伯欽。夫妻倆相親相愛，以客為尊，直到開元二十六年年底，徐氏去世。這十年間，李白與胡紫陽交往頻繁，寫下了大量流傳至今的詩歌，如《隨州紫陽先生壁題》、《冬夜送燕子至隨州霞樓飯堂顯隱仙城山序》等。
李白非常欽佩胡子揚。在他看來，隨州是壹個“東漢之地，聖人所生”的地方，但在神農皇帝和他的大夫季梁之後的壹千多年裏，“沒什麽可紀念的”，直到紫陽先生的出現。
葉縣被召入宮後死了。
唐玄宗天寶初年，道教受到推崇。紫陽先生帶著皇帝的聘禮，應邀出任西京太尉宮大使。他多次拒絕，被皇帝聖旨逼入宮。
當時聚集在京都的壹些魔術師搞的是藏起來吞刀吐火的幻術。紫陽先生對此不屑壹顧，只每天給弟子講道德經，分析其精髓。他反對東漢魏伯陽的奉丹成仙論，批駁各種歪理邪說，自然遭到壹些術士的反對和排斥。他不想留在宮裏，就以生病為由請求皇帝準許他回老家。臨走時，他對自己說:“上帝會厭倦給予，而給予並不厭世。”臨走時，王公貴族送他去龍門。到了葉縣(今河南平頂山市葉縣)，停在王翹祠堂的時候，眼睛突然擡起來，好像看到了什麽，“停車走(死)”。更奇怪的是，他死時“天香引路，身輕體空。”當他的屍體被運回隨州時，看起來仍然像他活著時的樣子。韓棟太守裴公親自在郊外迎接，轟動全城，每天都有數萬人前往觀看。當年10月23日，胡子洋葬於城東新松山，享年62歲。
胡子揚去世後，李白受托撰寫《韓棟紫陽先生碑文》，稱“先生含大榮，不修小節。書不精彩，抑郁癥有崩潰的可能；寫作不是夙之作，而是雕龍之作。存在，沒有光的宇宙；妳死了，浪變成蟬。”李白也說“要與紫陽親密，論飽餐，十之八九”，為此“封石松德，名聞八區。”