火药的发明，最早源于中国古代炼丹术的发展。最迟在中国的秦汉之际，由于医药学的发展，人们已经发现了硝石、硫磺、木炭这些在后来成为炼制火药所必需的重要原料，为火药的发明奠定了基矗
西汉初年，道术方士盛行。炼丹术士们为了发明所谓长生不死之药——金丹，对一些最基本的化学元素及其化学反应进行了艰苦探索。东汉末年，著名的炼丹家魏伯阳写成世界上最早的炼丹专著《周易参同契》。西晋末年，著名的炼丹家葛洪又写成了《抱朴子》一书。南北朝时期的著名炼丹家陶弘景也进行过广泛的药物学与炼丹术的研究。正是在长达数百年的艰苦探索中，炼丹术士们逐渐认识到包括硝石、硫磺、木炭等在内的一些化学元素的基本性质及其反应规律。
到了唐初，著名医药学家和炼丹家孙思邈已认识并掌握了硝石、硫磺、木炭混合在一起能发生异常猛烈的燃烧这一特点。为了控制这种猛烈的燃烧，他发明了著名的“伏硫磺法”。虽然孙思邈的主要目的在于伏硫磺，但事实上他已制取了最初的火药。
火药发明后，在唐德宗年间即用于战争。不过最初只是利用其燃烧性能。
后来人们逐渐发现，将密闭在容器中的火药点火即发生爆炸，因此由利用其燃烧性能逐渐改为利用其爆炸性能。
北宋初年，火药的发展进入了它在古代的昌盛时期。宋初成书的《武经总要》一书中，曾明确载有毒药烟球、葵藜火球、火炮这三种火药武器所使用的火药配方。与此同时，民间也有不少火药武器的发明献给朝廷。到了北宋末年，在战争中已开始使用“霹雳炮”、“震天雷”之类的爆炸力较强的新式火器。
大约在南宋末年，火药由商人经印度传入阿拉伯国家。约在13世纪后期，希腊人才通过阿拉伯人的著作知道了火药。在此期间，元军在与叙利亚的交战中失败，火箭、火炮、震天雷之类的火药武器落入阿拉伯人之手。此后，火药武器，即由阿拉伯国家传入欧洲。
在欧洲，最早提到火药的是中世纪后期的著名科学家罗吉尔·培根。他在1249年的一封信中，最早论及到火药的性能及威力。那刚好正是元军入侵欧洲的数年之后。此后，在欧洲即出现了最初的火药生产以及以中国的“震天雷”为原型改制的新式火药武器。
火药传入欧洲时，正值欧洲中世纪“千年暗夜”的末期。因此，火药一传入欧洲就被用于战争。尽管火药武器本身在这一历史时期内没有什么显著发展，但它却改变了欧洲的传统的作战方式。
直到18世纪末和19世纪初，由于无机化学的进一步发展，特别是由于有机化学的诞生，火药的发展才出现了新的趋向。
