壹、歷史事件。源自歷史事件的成語可以分為兩種情況：壹種情況是把某壹歷史事件概括為成語，如“對癥下藥”——東漢的神醫華佗去為兩個人治病，那兩人病情相似，但華佗卻針對不同的病因分別開出了瀉藥和發汗的藥。另壹種情況是截取或改易記載某壹歷史事件的著名文句而成為成語，如“揮汗如雨”就是直接從晏子所說的“齊之臨淄三百閭，張袂成陰，揮汗如雨，比肩繼踵而在，何為無人”截取而來的。
二、前人故事。源自前人故事的成語，其主人公有的知名，有的則不怎麽知名，但故事本身衍生的成語含義比較深刻，所以也被人們廣泛地使用。如“胸有成竹”——宋朝畫家文與可擅長畫竹，當時的著名詩人晁補之作詩說：“與可畫竹時，胸中有成竹。”後來人們就用“胸有成竹”比喻做事之前已作好充分準備，對事情的成功已有了十分的把握。
三、寓言傳說。源自寓言傳說的成語，往往含有深刻的教育意義，如“愚公移山”——記述愚公率領子孫要移走家門前兩座大山的故事，作為成語，用來比喻做事有頑強的毅力，不怕困難，堅持到底。
此外，有的成語來源於諺語俗語、名言警句等。源自俗語的，如“亡羊補牢”——《戰國策.楚策》：“臣聞鄙語曰：亡羊補牢，未為遲也。”源自名言的如“舍生取義”——《孟子.告子上》：“生，亦我所欲也，義，亦我所欲也。二者不可得兼，舍生而取義者也。”
許多成語來源於歷史事件、前人故事和寓言傳說，具有較強的故事性，經過前人流傳整理形成了成語故事。