這個成語出自西漢賈誼的《論秦》。這是關於秦末陳勝和光武領導的農民起義的故事。
公元前209年7月，陽城(今河南登封東南)地方官派兩名軍官帶著900名貧民在漁陽(今北京密雲縣)戍邊。那兩個差役又從壯丁中選了兩個壯丁作車兵長，讓他們管理其余的壯丁。兩個隊長中有壹個叫陳生，是農場勞動者。另壹個是貧農光武。他們以前互不相識，但現在他們相遇並有著相同的命運，這很快使他們成為好朋友。
陳勝、光武壹行不顧壹切地向北趕去，絲毫不敢耽擱。因為根據秦朝的法令，如果錯過了日期，就會被斬首。然而他們剛走了幾天，就到了大澤鄉(今安徽省蘇縣西南)。雨下得很大，所以他們不得不搭起帳篷，壹直等到天晴。只是雨壹直下，日期也就壹拖再拖。陳勝和光武商量說:“就算走了，錯過日期也要死。”逃跑被政府抓住也是死。反正就是個死。不如大家壹起造反，推翻秦二世，殺了人民。"
光武也是壹個有識之士。他同意陳勝的意見，並同意通過被秦二世殺死的太子伏肅和獲得群眾支持的前楚將軍項燕(項羽的祖父)的稱號，號召全世界攻打秦二世。
於是陳勝和光武帶了幾個心腹，先把兩個警察砍死，然後擡著頭，向大家說明，如果造反，就得白死。這數百人突然表示願意獻出自己的生命與陳升和光武壹起工作。大家以砍樹為武器，高舉竹竿為旗幟，向天發誓，齊心協力推翻秦二世，為楚國大將項燕報仇。大家還推舉陳勝、光武為首領，壹舉占領了大澤鄉。大澤鄉的農民壹聽說陳升和光武起來反抗秦朝的暴政，年幼的孩子就帶著鋤頭、鐵耙、扁擔和棍子來到營地參軍。
人們把“砍柴為兵，舉大旗”這句話簡化為成語“舉大旗”，意思是高舉義旗，奮起反抗。更泛指人民起義。