嶗山下清宮裏，有壹株兩丈高的耐冬樹，樹幹粗壯得幾個人合抱才能圍過來；還有壹株牡丹，也有壹丈多高，花開時節，絢麗奪目，宛如壹團錦繡。膠州黃生愛上這個道觀的清幽雅靜，便借住壹個房間作了書齋。
壹天，黃生正在書齋中讀書，偶然擡頭向窗外壹望，遠遠看見壹個白衣女郎的身影在花叢中若隱若現。黃生想，道士修煉之地哪來的女子呢？便急走出書齋看個究竟，女郎卻早已無蹤無影了。但此後又有幾次看見女郎出來，黃生便預先藏在樹叢裏，等候女郎再來。不壹會兒，女郎果然來了，身旁還有壹個紅衣女郎陪伴著。黃生望去，兩個妙齡女郎，紅白相映，光彩照人，真是艷麗雙絕。女郎愈走愈近，突然，紅衣女郎停住腳步，壹邊後退壹邊小聲說：“這裏有生人！”黃生不肯錯過機會，猛撲過去，兩個女郎嚇得扭頭便跑，裙衫長袖飄舞起來，傳來壹陣濃郁的香氣。黃生追過短墻，女郎們倩影又消失了。黃生愛慕極了，便提筆在樹上寫了壹首絕句：無限相思苦，含情對短窗。恐歸沙咤利，何處覓無雙？
他邊想邊走進書齋，白衣女郎忽然笑盈盈地走了進來。黃生又驚又喜，起身相迎。女郎笑著說：“瞧妳剛才氣勢洶洶像個強盜，怪嚇人的；沒承想原來是個風流儒雅的詩人呢，那就不妨會見會見了。”
黃生問起她的身世，女郎說：“我叫香玉，本是妓院中人，被道士幽閉在這山中，實在並非心甘情願的。”黃生忙問：“道士叫什麽名字？我壹定替您洗雪恥辱。”
香玉說：“不必了。他也沒敢逼我。我趁此機會跟您這位風流文士常來幽會，倒也不錯呢。”黃生又問那位紅衣女郎是誰，香玉說：“她叫絳雪，是我的義姊。”兩人愈談愈親密，當夜香玉便留宿在黃生的書齋裏。
第二天醒來，已是紅日臨窗。香玉急忙起身，說：“這真是貪玩忘天曉了！”壹邊穿衣，壹邊高興地對黃生說：“我也湊了壹首詩，算是對昨天您的大作的酬和吧，請勿見笑：良夜更易盡，朝暾已上窗。願如梁上燕，棲處自成雙。”
黃生壹聽，喜出望外，握住香玉的手說：“您原來秀外慧中，漂亮而又聰明，真叫人愛死！離了妳壹天，真如千裏之別。您務必抽空就來，不必等到晚上啊！”香玉答應著。從此二人每夜必會。黃生還常求香玉邀絳雪來，絳雪卻總是不來，黃生頗覺遺憾。香玉只好安慰他：“絳姐的性情落落寡合，不像我這麽癡情。妳得容我慢慢勸他，不要性急呀！”
壹天晚上，香玉突然闖進書齋，滿面淒慘地對黃生說：“妳連‘隴’都守不住，還望‘蜀’呢。咱倆永別的日子到了！”黃生大驚：“這是怎麽說？妳要到哪裏去？”香玉用衣袖擦著淚，泣不成聲地說：“這是天意，很難給妳說清的。反正當初的詩句今日應驗了。‘佳人已屬沙咤利，義士今無古押衙’，可以說是為我而吟的了。”黃生壹再追問究竟是怎麽回事，香玉就是不肯明言，只是嗚嗚咽咽，哭個不止。
這壹夜兩人通宵未眠，天剛透亮香玉就走了。黃生感到十分奇怪，惴惴不安。第二天，壹個姓藍的即墨縣人到下清宮來遊覽，見到那株白牡丹，十分喜愛，便把它挖走了。黃生這才恍然大悟，原來香玉是牡丹花妖，於是感到悵惘，而又十分惋惜。