古時作戰多用馬。戰馬疾馳疆場，沖鋒陷陣，每戰都要出很多汗。戰鬥次數越多，戰況越激烈，出汗當然也越多。因此，形容有戰功，就叫「汗馬」。
《韓非子·五蠹》就有「汗馬之勞」的說法。《戰國策·魏策》也有：「張儀說楚曰：『不費汗馬之勞，不費十日。而拒扞關』。」（扞，扞關，地名。）
《史記·晉世家》敘述春秋時晉文公的壹段故事時，也說過「汗馬之勞」的話。晉文公，名重耳，是晉獻公的兒子，所以又稱公子重耳。他曾流亡國外達十九年之久，後來回國做了國君，而且稱霸壹時。當他回國之初，即位為晉文公時，對於隨從他流亡的人員，壹壹論功行賞。有個小臣名叫介之推，沒有提出自己有什麽功勞，也不求賞賜，躲到深山裏隱居起來了。另壹個小臣名叫壺敘，見三次行賞都沒有他的份兒，便對晉文公說：「君行三賞，賞不及臣，敢請罪！」晉文公當即把行賞的標準向他說明：「夫導我以仁義，防我以德惠，此受上賞；輔我以行，卒以成立，此受次賞；矢石（箭矢炮石）之難，汗馬之勞，此復受次賞；若以力事我而無補我缺者，此復受次賞。三賞之後，故且及子。」
《史記·蕭相國世家》和《漢書·蕭何傳》也有壹段有關「汗馬之勞」的故事。蕭何是漢高祖劉邦的同鄉，劉邦起兵反秦，蕭何始終幫著他，籌謀劃策，忠心耿耿，是劉邦最可靠的得力助手。秦亡以後，劉邦又打敗了項羽，建立漢朝，做了皇帝，蕭何便擔任相國。劉邦認為論功勞應以蕭何為第壹，所以首先封他為「酂侯」（酂，縣名，今湖北光化縣），食邑八千戶。但是其余功臣多不服，他們說：「我們拚死拚命，多的經過百余戰，少的也打過幾十仗，而蕭何未有汗馬之勞，只會耍筆桿、發議論，根本沒上過戰場，封賞反在我們之上，這是什麽道理？」劉邦問道：「妳們知道打獵的事嗎？」大家同聲回答：「知道。」再問道：「那麽妳們知道獵狗嗎？」又是同聲回答：「知道。」劉邦於是接著說：「打獵的時候，追殺野獸的是狗，而指示野獸的住處、去向，讓狗去追殺的，卻是人（『夫獵，追殺獸兔者狗也，發蹤指示者人也』）。妳們只會追殺，不過是『功狗』而已，至於蕭何，能『發蹤指示』，他才是『功人』。而且妳們多數是單身跟隨我，有同族兩三人壹起入伍的就算難得了，可是蕭何，他叫全家族的幾十個男子都參加了我們的軍隊，跟著我壹同出力。他的大功勞是怎麽也不能忘記的！」大家聽了，便誰也不吭氣了。