中國古代火箭有箭頭、箭桿、箭羽和火藥筒四大部分。火藥筒外殼用竹筒或硬紙筒制作，裏面填充火藥，筒上端封閉，下端開口，筒側小孔引出導火線。點火後，火藥在筒中燃燒，產生大量氣體，高速向後噴射，產生向前推力。其實這就是現代火箭的雛形。火藥筒相當於現代火箭的推進系統。鋒利的箭頭具有穿透人體的殺傷力，相當於現代火箭的戰鬥部。尾端安裝的箭羽在飛行中起穩定作用，相當於現代火箭的穩定系統。而箭桿相當於現代火箭的箭體結構。中國古代火箭外形圖，首次記載於公元1621年茅元儀編著的《武備誌》中。
名詞由來
“火箭”這個詞在公元三世紀的三國時代就已出現。在公元228年的三國時期，魏國第壹次在射出的箭上裝上火把，當時蜀國丞相諸葛亮率軍進攻陳倉(今陜西寶雞東)時，魏國守將郝昭就用火箭焚燒了蜀軍攻城的雲梯，守住了陳倉。“火箭”壹詞自此出現。不過當時的火箭只是在箭頭後部綁附浸滿油脂的麻布等易燃物，點燃後用弓弩射至敵方，達到縱火目的的兵器。
北宋的軍官馮繼升、嶽義方、唐福等(公元10世紀後期)，曾向朝廷獻過火箭及火箭制造方法。那時的火箭已經使用了燃燒效能更好的火藥，但仍由弓弩射出。從而出現了人類歷史上最早、最原始的“火藥箭”。它用紙糊成筒，把火藥裝在筒裏壓實，綁在箭桿上，用弓發射出去。後來在原始火箭基礎上做了改進，將火箭直接裝入桿中間，爆時聲響很大，借以恐嚇敵人。