人們在冶煉金屬的過程中，不斷總結經驗，逐漸接觸和熟悉許多礦物的性質，積累了豐富的化學知識。自戰國以來，有人將冶金技術應用於提煉藥物，夢想提煉長生不老藥，也有人想從礦物中提煉金銀。煉制所謂長生不老藥的煉金術，古代稱為“煉丹術”，從事煉丹的方士稱為“方士”，後來稱為“道士”或“賈丹”。
雖然這些煉丹師始終無法煉制出長生不老藥，但他們在壹次次的冶煉中積累了經驗，掌握了大量的化學知識。這些煉金術士對中國古代化學的發展起了很大的作用。以現代人的眼光來看，稱他們為古代化學家可能更合適。在這些方士中，李、魏伯陽、劉安、葛洪等較為突出。正是這些煉金術士的工作發現了火藥。
現在我們知道制造火藥的主要原料是木炭、硫磺和硝石。在中國古代，硫磺又叫石硫、黃硫等。公元前後，我們的祖先在湖南省郴縣發現了大量的硫礦..此後，中國北方和南方多次發現大型硫礦。中國古籍中最早提到“硫”的是《淮南子》(公元前150年左右)。
這說明當時古人已經對硫磺有所了解。西漢末年出版的第壹部中醫經典《神農本草經》將石硫列為“中藥”的第三類，可見當時硫磺作為藥物的廣泛使用。亞硝酸鹽是黑火藥中的氧化劑。它的化學成分是硝酸鉀，加熱能產生氧氣，有很強的助燃作用。火藥的爆炸力主要由硝酸鹽的含量決定。
最遲在公元前後，我們的祖先已經發現了硝酸鹽，並能掌握和利用它。古代人在實踐中逐漸發現硝石具有消除積熱、化瘀等醫療作用，於是將其入藥。《神農本草經》將硝石列為第六種“上品藥”。古代煉金術士非常熟悉硝石的性質，經常用硝石作為主要的氧化劑和溶劑。公元500年左右的煉丹家陶弘景指出，硝石“強烈燃燒，紫煙升起”。
唐朝初年，著名藥理學家孫思邈也提煉過丹藥。在他的《單晶》壹書中，有壹種“含硫法”，記載了類似火藥的藥方。因為這種硫磺浸泡法在制作過程中經常會燃燒，會灼傷煉丹師的手和臉，甚至會燒毀煉丹師的房間，所以古人明白硫磺、硝石和木炭的混合物極易發生猛烈的火災甚至爆炸，所以制作時壹定要非常小心。
經過壹次又壹次的爆炸和大火，煉金術士從最初的恐懼中逐漸認識到，硫磺、硝石和木炭如果按壹定比例混合，可以制成爆炸性的“火藥”。火藥發明的具體時間無法考證，但根據資料可以推斷，火藥發明的時間應該在唐朝之前。因為這種粉末的顏色是黑色的，所以叫“黑粉”。