《孟子·離婁上》有這樣壹個故事:
有壹個齊人，他有壹個妻子和壹個妾。他每天都喝得醉醺醺地回家。問他和誰壹起吃飯，得到的答案都是當時的名人和有錢人。然而，他從來沒有見過任何名人拜訪他。有壹天，他的妻妾決定偷偷跟著他，看他結交了哪些達官貴人。原來齊人是乞丐，向有錢人家乞討殘羹剩飯。妻妾到家都忍不住哭了。齊人不知，回家對妻妾大呼小叫，囂張跋扈。孟子說，以今天的君子的眼光來看，雖然很多人欺負別人，但其實他們所做的事，和齊人壹樣，只是他家的恥辱。
成語“齊人之樂”只是在故事的開頭用了“齊人有妻有妾”這句話，並沒有涉及故事的內容。這個齊人有沒有福氣，也是見仁見智。