《辭源》中沒有“十二樓”，但《辭海》是收錄的，只是指清初文學家李漁的白話短篇小說集。那麽，詩中的“十二樓”會不會是詩人偏愛“十二樓”所致？
其實《十二樓》還是有出處的。《史記·小武列傳》引用應劭的話說:“昆侖宣普五城十二樓，本仙人常居。”《史記》中也有煉丹師的說法:“黃帝為五城十二樓，候神人執禮。”因此，詩中使用的“十二樓”並不是真正的指代，而是泛指《貴夫人的住處》中的宮非和李鴻清華。