這個成語來源於《後漢書.祭遵傳》，遵為人廉約小心，克己奉公。賞賜輒盡與士卒，家無私財。
祭遵，字弟孫，東漢初年潁陽人。祭遵從小喜歡讀書，知書達理，雖然出身豪門，但生活非常儉樸。
公元24年，劉秀攻打潁陽壹帶，祭遵去投奔他，被劉秀收為門下吏。後隨軍轉戰河北，當了軍中的'執法官，負責軍營的法令。任職中，他執法嚴明，不循私情，為大家所稱道。
有壹次，劉秀身邊的壹個小侍從犯了罪，祭遵查明真情後，依法把這小侍從處以死刑。劉秀知道後，十分生氣，想祭遵竟敢處罰他身邊的人，欲降罪於祭遵。但馬上有人來勸諫劉秀說：嚴明軍令，本來就是大王的要求。如今祭遵堅守法令，上下壹致做得很對。只有像他這樣言行壹致，號令三軍才有威信啊。
劉秀聽了覺得有理。後來，非但沒有治罪於祭遵，還封他為征虜將軍，潁陽侯。
祭遵為人廉潔，為官清正，處事謹慎，克己奉公，常受到劉秀的賞賜，但他將這些賞賜都拿出來分給手下的人。他生活十分儉樸，家中也沒有多少私人財產，即使在安排後事時，他仍囑咐手下的人，不許鋪張浪費，只要用牛車裝載自己的屍體和棺木，拉到洛陽草草下葬就可以了。
祭遵死後多年，漢光武帝劉秀仍對他的克己奉公精神十分懷念。