秦末漢初時，由於漢王劉邦能夠招賢納士，廣羅人才，所以許多有本領的謀士、大將紛紛投在他的門下。在這些人才中，韓信是壹個突出的人物，曾被蕭何稱為「國士無雙」的難得之將才。在滅秦和楚漢戰爭中，韓信充分發揮了他的軍事才能，為後來西漢王朝的建立，立下了汗馬功勞。
由於韓信功高勢大，引起了不少人的妒嫉，也引起了劉邦的不安。漢朝建立不久，有人向劉邦報告，說韓信想謀反，劉邦用計逮捕了他，後因查無實據，才放了他。
韓信雖然被釋放並封為淮陰侯，但心中總是悶悶不樂。他始終認為自己功勞大，本領高，對其他壹些大臣和將領都看不上，便經常告病不上朝。他眼見周勃、樊噲、灌嬰等人人前壹套，人後壹套，更是不願意和他們壹塊兒上朝。
有壹次，韓信從樊噲的門口經過，樊噲很慇勤地把他請到家裏，很客氣地說：「大王肯光臨敝舍，臣下我感到十分榮幸。」韓信本來就瞧不起樊噲，現在見樊噲虛情假義地來這壹套，越覺討嫌，坐了壹會兒，就告辭了。樊噲跪著把韓信送走。韓信壹出大門，笑了笑說：「我真丟人，這壹輩子竟然同樊噲這樣的人在壹起***事！」
「羞與噲伍」即以和樊噲這樣的人在壹起***事感到羞恥，據此，人們引伸出「羞與為伍」這句成語，表示恥於同自己所輕視的人在壹起。