這個成語出自後漢班超傳。
班超，字仲生，東漢扶風縣平嶺(今陜西鹹陽縣西北)人。年輕時，他雄心勃勃，足智多謀，能言善辯，讀了很多書。班超的父親班彪和哥哥班固都是非常著名的歷史學家，著名的史書《漢書》就是他們父子二人編撰的。
公元62年(漢永平五年)，班固被明帝劉莊召到洛陽，做了壹名校書吏。班超和他的母親跟在後面。當時因為家裏不富裕，班超找了壹份給政權抄書的工作賺錢養家。
但是，班超是壹個誌存高遠的人。時間長了，他就不再願意做這種枯燥的抄寫工作了。有壹天，他在寫東西的時候，突然感到壹陣無聊和苦惱，於是他把筆重重地摔在地上，嘆息道:
“男人都是有勇氣的人，就算沒有別的野心，也要學當年的介子推和張騫，在外立功。他們怎麽可能花時間長時間給別人抄東西？!"
聽到這裏，周圍的人都嘲笑他的奇思妙想。班超感嘆:“壹個平庸的人怎麽能理解壹個強者的野心！”
後來皇帝出兵抗擊匈奴的進攻，班超也加入了軍隊。他英勇殺敵，打敗匈奴，立下赫赫戰功。
公元73年，班超出使西域。他憑著機智和勇氣，克服重重困難，聯絡了西域幾十個國家，斷了匈奴的左膀右臂，保持了漢朝社會經濟的相對穩定，促進了西域與內地的經濟文化交流。
班超在西域呆了三十壹年。他為當時的邊防安全和東西方人民的友好交流做出了突出貢獻。
“用筆從軍”是指棄文從軍，投身沙場，為國立功，施展抱負的行動。