成語的數目很多，壹九五八年商務印書館出版的《漢語成語小詞典》就收有成語三千多條，實際上當然還有許多成語沒有收進去，成語實有的數目，壹定比這本小詞典中所收的多得多。這些成語是怎樣產生的呢？粗略地分析起來，主要有以下幾個來源：
（1）歷史事實
有些成語是從歷史事實來的。其中有的是把某壹歷史事件，概括為成語的；有的是截取或改易歷史裏的著名文句為成語的。這裏先舉幾個由歷史事實而來的成語：
（A）完璧歸趙《史記·藺相如列傳》記載：戰國時候，趙國的國君惠文王得到壹塊璧玉，秦國的國君昭王寫信給趙王，說他願意給趙王十五座城，換取這塊璧玉，趙國比秦國弱，它明明知道秦王的話靠不住，可是又不敢公然戳穿秦王的謊言。在這種情況下，趙國的大臣藺相如到秦國去處理這件事。他臨走的時候說"如果秦國把十五座城給了趙國，就把璧玉給秦國，如果拿不到城，就要使璧玉絲毫無缺地歸回趙國《（史記》的原文是 完璧歸趙 。）"藺相如到了秦國，把璧玉獻給秦王，可是他看到秦王並沒有真給趙國十五座城的意思，於是很機智地編造理由，從秦王手中把璧玉要回來，偷偷地讓隨從人員送回趙國。後來人們用"完璧歸趙"這四個字，表示把原物完好地、原封不動地歸還物主。這四個字也就成了成語。
（B）擢發難數《史記.範睢列傳》記載：戰國時候，秦國的宰相範睢（魏人）責問他的仇人魏國的中大夫須賈說："妳知道妳的罪過有多少嗎？"須賈說："拔我壹根頭發記載我壹件罪過，頭發還不夠用的。"（《史記》的原文是"擢賈之發，以續賈之罪，尚未足。"）後來就用"擢發難數"比喻罪惡之多，數不勝數。"擢發難數"也就成為成語了。
以上這兩個來自歷史事實的成語"完璧歸趙""擢發難數"都是截用或改易史書中文句而成的。這種成語，在全部成語中所占的數量不很多。成語中的"投筆從戎""退避三舍""唇亡齒寒""壹鼓作氣""門庭若市"等等，都是出自歷史事實的。
（2）前人故事
有些成語是由前人的故事來的，這類故事也是確有其人其事，只是其人其事在歷史上不是很重要的。這類成語有的比較有風趣，有的有比較好的修辭效果，所以也被人們廣泛地使用。現在舉幾個例子，並說明它們的來源。
（A）胸有成竹宋朝有壹位畫家叫文同，字與可，擅長畫竹。當時有位文學家晁補之作詩說："與可畫竹時，胸中有成竹。"後來"胸有成竹"就成了壹個廣泛使用的成語，用它來稱贊處理事情很有定見有把握的人。
（B）滿城風雨宋朝謝無逸嘗問潘大臨近來有沒有作詩。潘大臨寫給他壹封回信說：秋天以來的景物，樣樣都是好詩句。昨天清閑地躺著，聽到樹林子裏響起風雨聲，我高興地起來，在墻上寫到："滿城風雨近重陽，"忽然催我繳納租賦的人來了，於是大為敗興，只有這壹句寄給妳。後來"滿城風雨"這四個字就成了廣泛使用的成語，比喻對新發生的某壹件事許多人都在到處議論。
此外如"威武不屈""尾大不掉""抱薪救火""門可羅雀"都是由前人故事而來的成語。
（3）寓言傳說
古書裏邊也有些含議深刻的寓言，也是成語的來源。這類成語，往往有教訓或諷喻的意味。現在舉幾個例子並加以說明。
（A）杞人憂天《列子·天瑞》說："周朝時候，杞國有壹個人怕天崩地墜，自身無處寄托，因此連睡覺吃飯都沒有心思了。"後來就把"杞人憂天"用為成語，比喻毫無必要的憂慮。
（B）邯鄲學步《莊子·秋水》說："燕國壽陵地方有壹個青年，到趙國的國都邯鄲去學走路（趙國人善於走路）。他沒有把本領學到手，反而把自己原來走路的步法也丟掉了，只好用兩只手爬著回家。"後來把"邯鄲學步"用為成語，比喻摹仿別人不到家，反而連自己原有的本領也丟掉了。
（C）掩耳盜鈴《呂氏春秋.自知》有壹個故事說：晉國的大夫範氏滅亡的時候，有個老百姓得到壹只鐘，想要把它背走。只是鐘太大，沒法背。於是就用錘去把它打碎，這樣鐘又轟轟地響起來，那個老百姓怕別人聽到響聲來搶這只鐘，趕忙把自己的耳朵堵起來，以為自己聽不見，別人也就聽不見了。《淮南子·說山訓》也有這個故事。成語"掩耳盜鈴"就是這樣來的，只是把"鐘"改為"鈴"了。這個成語比喻騙人的人所用的辦法非常笨拙，他自己卻以為能騙得了人。成語裏邊還有壹個"掩目捕雀"，出於《三國誌·陳琳傳》，跟"掩耳盜鈴"的意思差不多，但是群眾基礎較差，使用的人比較少。
由寓言故事來的成語，往往含有幽默感和深刻的教育意義。如"守株待兔""刻舟求劍""畫蛇添足"等。這類成語，在全部成語中，所占的比重不算大。
（4）古人原句
成語裏面有壹些是全用古人語句而不作改動的，例如：
（A）"醉翁之意不在酒"見宋朝文學家歐陽修《醉翁亭記》："醉翁之意不在酒，在乎山水之間也。"意思是：醉翁的心思並不在飲酒上，而在於賞玩這裏的山水。後代把"醉翁之意不在酒"用為成語，表示"別有用心""另有目的"等意思。
（B）水落石出見宋朝文學家蘇軾的《赤壁賦》："山高月小，水落石出。""水落石出"本來是純粹寫景的文句，後代用為成語，比喻真實的情況終於顯露出來。
（C）更上壹層樓成語不僅有完全用前人文章裏的語句的，也有完全用前人詩句的"更上壹層樓"就是處於唐朝詩人王之煥的《登鸛雀樓》詩。原詩是："白日依山盡，黃河入海流。欲窮千裏目，更上壹層樓。""更上壹層樓"這個成語，比喻在某壹已有的基礎上更加提高，更為擴大之類的意思。
成語裏面的"壹笑千金""咄咄怪事""下筆成章""壹鳴驚人"等，都是全用前人的語句。這類成語在全部成語中所占的比重比較大。偶然被人們引用的前人名言警句，即使它明顯地具有成語的特點，也不能把它看做成語，而只能認為那是引語。可是如果後來時常有人使用它，群眾逐漸對它熟悉，那就要把它看做成語了。
（5）截用或改易古人語句
有些成語不是直接使用古人的語句，而是截用或者把古人的語句略加改變，然後使用的。截用或改變的原因，主要是為了使其符合成語的結構形式。（參閱前文《成語的四字性》）例如：
（A）舍生取義《孟子·告子》上篇裏有兩句話是："生，亦我所欲也；義，亦我所欲也。二者不可得兼，舍生而取義者也。"後人從這兩句話裏，取出"舍生取義"這四個字作為成語，表示為了維護正義不惜犧牲生命的崇高品質。
（B）壹曝（pù）十寒《孟子·告子》上篇裏有幾句話是"雖有天下易生之物也，壹日曝之，十日寒之，未有能生者也。"（意思是：雖然有天下容易生長的東西，但是曬它壹天，冷它十天，也沒有能生長成的。）後人從這幾句話裏摘出"壹曝十寒"四個字用為成語，比喻壹個人沒有恒心，努力的時間少，荒廢的時間多。
（C）壹毛不拔《孟子·盡心》上篇裏有壹句話是："楊子取為我，拔壹毛而利天下不為也。"（意思是：楊子極端自私，即使從他身上取下壹根細微的毛發就能夠有利於天下，那他也是不肯幹的。）後人把這句話裏的"拔壹毛不為"改成"壹毛不拔"四個字，作為成語，形容極端自私和非常吝嗇的人。
（D）近水樓臺宋朝蘇麟有兩句詩："近水樓臺先得月，向陽花木易為春。"後來截用"近水樓臺"四個字為成語，比喻在條件便利的情況下就能比壹般人先得到好處。
成語裏面的"知名之士""壹日之長""壹丘之貉""壹日三秋""壹字千金"都屬於這壹類。這類成語，在全部成語中所占的比重也比較大。
（6）人民群眾用過的精煉詞組
談到成語的來源，人們總會先想到上邊所說的那些所謂有出處的成語。其實在成語裏邊占比重較大的，還是那些現在已經找不到真正原始出處的成語，這類成語，絕大部分是人民群眾創造的。其中有壹些具有濃厚的口語色彩和生活氣息。例如："大海撈針""指桑罵槐""另起爐竈""三三兩兩""大刀闊斧""囫圇吞棗"等等。這類成語，因為修辭手法和表達效果都比較好，所以歷來就被人們廣泛地使用著，而且不僅使用於書面上，也使用於口語中，甚至很早就使用於口語中。如果有人在古書中看到了這類成語，認為某書的作者就是這個成語的創作者，這恐怕未必可靠，譬如見於宋人語錄裏邊的壹些成語，見於元人雜劇裏邊的壹些成語，未必就是產生於宋朝或元朝，可能都還早。
（7）諺語俗語
有些成語，在兩三千年之前就已經被人們寫在書裏。雖然用的是文言，看起來很典雅，其實本來是群眾口頭中使用的諺語或俗語。例如，"亡羊補牢""敝帚千金"等等，都屬於這壹類。為什麽知道這些成語本來是諺語或俗語呢？因為使用這些成語的古人，在古書裏邊已經說了。如：《戰國策·楚策》說："臣聞鄙語曰：亡羊補牢，未為遲也。"（意思是：養在羊圈裏的羊跑掉了，趕快把圈修補起來，免得別的羊再跑掉，也還不算晚。）曹丕《典論·論文》說："裏語曰， 家有敝帚，享之千金 "（意思是：俗語說，家裏有壹把破掃帚，自己以為寶貴得可以同千金相比。享就是"當"或"當做"。）《史記·白起王剪傳》說："鄙語雲，尺有所短，寸有所長。"所謂鄙語、裏語或諺語、俗諺，就是民間的諺語或俗語的意思。實則有些來自諺語或俗語的成語，在古書上，也還有並不壹定標明是"裏語""鄙語"的。
另外還有些諺語和俗語，從文字上看，不像壹般成語那樣整齊典雅，很明顯是人民大眾的口語。可是因為它們通俗易懂。具有很好的表達效果，因此廣泛地被人們所使用，也成了成語。例如"牛頭不對馬嘴""坐山觀虎鬥""眾人拾柴火焰高""天下烏鴉壹般黑"都是屬於這壹類的。
（8）外來的成語
我們使用的成語，也有來自外國的。例如魏、晉、六朝、隋、唐時候，我國翻譯了不少流行於西域和印度的佛經。佛經裏邊的語句和典故，不少從早就成了我國的成語。例如："壹塵不染""現身說法""心花怒放""不可思議""不即不離""回頭是岸"皆是。明、清以來，我國跟西洋各國的文化交流逐漸頻繁，西方的典故、格言以及西洋著作的漢文譯本中的精煉語句，有的也就變成了我國人使用的成語。例如："時者金也""以眼還眼，以牙還牙""舊瓶裝新酒""火中取栗""新陳代謝""物競天擇""弱肉強食""拿原則來做交易""按勞取酬"等等都是。
（9）改造的成語
前邊說過，成語是固定詞組或固定的句子，壹般不能隨便改變。但是有時候為了表達上或行文上的需要，也可以更換壹兩個字，巧妙地把它加以改造使用。這種改造的成語，表達的效果往往比較強，因為把成語改了壹兩個字，特別能引起讀者的註意。這種辦法，古代就有的。例如"物極則反"這個成語出於《鹖冠子·環流篇》。意思是事物發展到極點，壹定要轉到它的反面。後代有人把它改為"物極必反"，就覺得更為肯定有力。南北朝時，北周有名的文學家瘐信作《哀江南賦》就把這的成語改為"物極不反"，表達他那無可奈何的憤慨情緒。又如"事半功倍"這個成語，出於《孟子·公孫醜》，意思是說用力小而效果大。後來有人把這個成語裏的"半""倍"兩個字的位置壹換，改為"事倍功半"，來說明工作費勁大，收效小。但是在古代，這樣使用成語的例子比較少。現在我們進入了偉大的社會主義時代，前人某些思想意識的錯誤性和局限性，顯露得很清楚。因此把成語加以改造而表達新思想的，用得也就比較多了。例如"把"欲速則不達"改為"欲速必達"；把"壹舉兩得"改為"壹舉三得""壹舉多得"；把"壹箭雙雕"改為"壹箭三雕""壹箭多雕"；把"知難而退"改為"知難而進"等等。
時代已經改變了。生活在新社會不同於生活在舊社會，人們的思想感情、精神面貌起了很大的變化。舊的清規戒律，已經不能拘束我們了，有壹部分舊成語的內容，顯然不適合於今天的社會。譬如具有***產主義風格，敢於蔑視困難，敢於勝利的人們，絕不會"知難而退"。新成語"知難而進"的產生，是很自然的。這也可以算是化消極為積極，同時也收到了"古為今用"的效果。
（10）新生成語
我們現在使用的成語，大都是兩三千年以來流傳下來的或陸續產生的。隨著社會的發展演進，根據社會生活的實際需要，表達新思想意識的成語，就自然會不斷地陸續地產生。全國解放以來，在階級鬥爭、生產鬥爭、科學實驗的實踐中，就產生了許許多多具有積極意義的新成語，例如：
厚今薄古 推陳出新 多快好省
分秒必爭 力爭上遊 百花齊放
勤儉持家 修舊利廢 上山下鄉
勤學苦練 只爭朝夕 化廢為寶
比學趕幫超 全國壹盤棋
等等。同時，也產生了少量具有批評性的新成語，例如："縮手縮腳"、"少慢差費"。這類新成語，具有鮮明的時代精神，含有積極意義。所以產生以後，立刻就不脛而走，為各階層的廣大人民群眾所喜用。
以上列舉的十項，是成語的主要來源，也是成語較大的類別。