其實這事完全來源於唐玄宗和楊貴妃夫妻之間打情罵俏時提到了趙飛燕，但是也讓楊貴妃對趙飛燕的話題頗為敏感。偏偏在這個時候，李白寫了壹首詩贊美楊貴妃，詩曰：”壹枝紅艷露凝香，雲雨巫山枉斷腸。借問漢宮誰得似，可憐飛燕倚新妝。。
”
但楊貴妃出身隋唐時期壹等壹的世家大族，她本來就看不起出身低賤的趙飛燕。李白本來是想誇楊貴妃，偏偏楊貴妃對趙飛燕過敏。楊貴妃對於李白拿趙飛燕和自己比較的詩句，產生了抵觸情緒。就在這個時候，太監高力士出來使壞了。高力士是唐玄宗最信任的太監，這家夥在後宮地位非常高。李白曾經當眾羞辱高力士，高力士就抓住了這個機會報復李白。
高力士對楊貴妃說：“趙飛燕出身低賤，以色事君，才得到了漢成帝的寵愛。趙飛燕是紅顏禍水的代名詞，李白拿趙飛燕出來和娘娘比較，這是指著和尚罵禿驢，這是在暗諷娘娘以色事君，紅顏禍水啊。”
大家都知道楊貴妃本來就是以色事君啊，她最怕別人說這個話題。楊貴妃聽了高力士的話，越來越覺得李白是在諷刺她。楊貴妃不幹了，她找到唐玄宗，哭哭啼啼說李白諷刺她。唐玄宗跟楊貴妃的關系，本來就敏感，他也怕天下人對於他倆婚事說三道四。唐玄宗聽了楊貴妃的訴苦之後，也覺得李白是在暗諷他貪戀楊貴妃的美色，以至於誤了朝廷的大事。
大家都知道，唐玄宗原本是勵精圖治的皇帝，他帝王生涯的早期，可是成就了著名的“開元之治”啊。自從得到了楊貴妃之後，唐玄宗就變得不愛處理朝政了。唐玄宗本來就是因為貪戀楊貴妃的美色，耽誤了不少朝廷大事，所以他才十分害怕別人說他這個事情。唐玄宗曾經許諾封李白為中書舍人，出了“趙飛燕”事件之後，唐玄宗對李白的承諾就遲遲無法兌現了。再後來，李白處處感到受到打壓，就申請離開京城去浪跡江湖。唐玄宗就坡下驢，賞了李白壹筆錢財，讓李白去四海漂泊了。這件事情，就是歷史上著名的“賜金放還”事件。