白居易晚年對香山寺情有獨鐘。白居易退居洛陽後,非常喜愛香山寺的寧靜。他經常出入香山,甚至把家裏所有的酒和書都搬到了香山寺。他認為這個地方雖然環境很好,但是廟門破舊,墻壁剝落,導致僧人住宿條件差,佛像已經被侵蝕得無法言語。因此,白居易決心修復香山寺。
白居易在香山期間,還把自己在洛陽寫的詩編成十卷,取名《白集》。此外,他還與香山僧人交了朋友,成為香山寺的壹員。白居易晚年遠離官場,住在香山,最後死在香山,後來葬在香山。因此,晚年的白居易自號“香山居士”。