白居易懷著對女性的極大同情心理，先後寫了《上陽白發人》、《陵園妾》等詩歌，疾呼宮中人“苦最多，少亦苦，老亦苦，少苦老苦兩如何？”他在潯陽江頭偶逢琵琶女，對這位“老大嫁作商人婦（應是外室，妾）”的樂伎發出同是“天涯淪落人”的悲愴。恰恰是這樣壹位為官清正、為民疾呼的詩人，也喜歡納妾蓄姬。
唐孟棨《本事詩·事感》：“白尚書（居易）姬人樊素善歌，妓人小蠻善舞，嘗為詩曰：櫻桃樊素口，楊柳小蠻腰。”美姬樊素的嘴小巧鮮艷，如同櫻桃；小蠻的腰柔弱纖細如同楊柳。現代人形容美眉們說什麽櫻桃嘴、小蠻腰或楊柳腰，就是從白居易那裏學過來的。
白居易是情種，不僅對樊素、小蠻這兩個姬妾非常鐘愛，他對容貌姣好的女子都有壹份疼愛。
有壹次白居易到徐州守帥張愔府上做客，張家小妾關盼盼為客人表演了歌舞，白居易大為贊嘆，說關盼盼是“醉嬌勝不得，風裊牡丹花”。
兩年之後，張愔病逝於徐州，張家的妻妾紛紛自尋出路，但關盼盼卻決心守節。她與年邁的仆人住在徐州城郊的燕子樓裏，過著清心寡欲的生活。燕子樓是張愔生前為關盼盼建的別墅。關原是個妓女，被張納為小妾。她居然能在丈夫死後，15年不嫁，獨守燕子樓。人間的真愛使壹個妓女變成了貞婦。
白居易深為關盼盼的重情而感動，但他想既然關盼盼如此壹往情深，為何不到九泉底下去追尋張愔，陪伴張愔呢？那豈不是更圓滿？他按照關盼盼的詩韻，贈詩唱和。詩是這樣寫的：黃金不惜買娥眉，揀得如花四五枚。歌舞教成心力盡，壹朝身去不相隨。
白居易寫這首詩時也許並沒有逼關盼盼殉情的意思，關盼盼壹邊讀壹邊流下眼淚，說道：我為張愔守節十幾年，並非惜命不肯隨之而去，而是怕千年以後，人們議論我夫重色，有從死的愛妾殉身，豈不損害了我夫的德行？! 於是寫詩回答了白居易：“兒童不識沖天物，漫把青泥汙雪毫。”然後，絕食而死（參見楊淮《古艷樂府》）。
當白居易聽到關盼盼的死訊時非常震驚，他覺得自己有難以推卸的責任，心裏又是敬佩又是內疚。可能因為有了這次的經歷，在自己年老多病時，為了避免釀成關盼盼那樣的悲劇，他將正值青春的侍妾樊素、小蠻等放出，讓她們各奔前程。
後來，他曾多次賦詩提及此事。有壹首《又復戲答》是這樣說的：
柳老春深日又斜，
任他飛向別人家；
誰能更學孩童戲，
尋逐春風捉柳花。
老暮中的白居易，已經無力像孩童那樣尋逐春風捉柳花了，還是讓她們自願嫁給別人家。這在當時來說，讓姬妾遣散，恢復自由，是這壹類女子最好的歸宿。
白居易是坦率的。他喜歡美妾，絕不遮遮掩掩。在《〈不能忘情吟〉序》中，他自忖年事已高，自己又退耕學佛，欲去長物，屏聲色，但對樊素、小蠻卻又萬分地舍不得，為自己找了壹個理由：“噫！予（我）非聖達，不能忘情，又不至於不及情者。”他“不能忘情”，又不是壹個不懂感情的人。這種坦然，讓人覺得真實可信。