這個成語出自《後漢書·班超傳》。
班超，字仲升，東漢扶風郡平陵（今陜西省鹹陽縣西北）人。他年輕時就很有抱負，肯動腦筋，能言善辯，讀了不少書。班超的父親班彪，哥哥班固，都是非常有名的歷史學家，著名的史書《漢書》就是他們父子倆編撰的。
公元62年（漢明帝永平五年），班固被明帝劉莊召到洛陽，做了壹名校書郎，班超和他的母親也跟著去了。當時，因家境並不富裕，班超便找了個替官家抄書的差事掙錢養家。
但是，班超是個有遠大誌向的人，日子久了，他再也不甘心做這種乏味的抄寫工作了。壹天，他正在寫字，突然感到壹陣莫名的厭煩和苦惱，於是“啪”的壹聲把筆摔在地上，嘆氣說：
“男子漢大丈夫，縱然沒有其他什麽誌向謀略，也應當學學當年的博介子和張騫，在外建立功勛，怎麽能夠長久地把時間花在替人抄寫上面呢？！”
聽了這番話，周圍的人都譏笑他異想天開，班超感嘆地說：“庸人怎能了解壯士的誌向啊！”
後來皇帝為了抵禦匈奴的進攻派兵出征，班超從軍入伍了。他英勇殺敵，大敗匈奴，立了戰功。
公元73年，班超出使西域，他以機智和勇敢，克服重重困難，聯絡了西域的幾十個國家，斷了匈奴的右臂，使漢朝的社會經濟保持了相對的穩定，也促進了西域同內地的經濟文化交流。
班超壹直在西域呆了三十壹年。他為當時的邊境安全，東西方人民的友好往來做出了卓越的貢獻。
“投筆從戎”指棄文從武，投身疆場，為國立功，施展抱負的行動。