漢武帝時，18歲的終軍因才華出眾，被選為大夫，受到漢武帝賞識，被任命為此事的使者。當時朝廷正要派使節去匈奴。最後大軍去見漢武帝，自告奮勇說:
“我願意盡我所能做此行的使者，向阿提拉可汗說明我的利益所在。”
漢武帝看到終軍自告奮勇去使館，就發函問他要幹什麽。最後，軍隊向武帝說明了如何以理待單於，以情示利，勸其就範的想法。漢武帝非常欣賞他的想法，提拔他為諫議大夫，專事議和策劃，但沒有派他去匈奴。
沒過多久，南越(南方壹個古老的宗族，又稱“南越”，在今天的廣東、廣西等地)向漢朝求婚。漢武帝想勸越王歸順漢朝，卻不知道派哪個使者才能圓滿完成使命。
最後的軍隊向武帝毛遂自薦，說:
“我願意拿壹根長纓，把南越王綁在漢宮門口。”
漢武帝見終軍肯出使，便派他南下。
最終大軍歷盡千辛萬苦，輾轉南越。它以自己的金口玉言，最終說服越王歸順全國，封漢侯。
漢武帝見終軍已說服越王，忍不住賜下南越王大臣的印信，並以漢朝在越南的禮儀取代舊俗，命終軍留下來當特使安撫百姓。
不料南越宰相呂嘉別有用心，拒不歸順漢朝，派兵追殺越王，並包圍中國大使館。
漢朝使者寡不敵眾，都死在越軍的刀下。終軍死時才二十多歲，世人稱他為“終子”。
後來“征終軍”這個典故，用來指降服強敵，為國建功立業的誌向，多用於參軍或派遣使節。