大多數成語都有壹定的來源。比如《史密斯》出的《戰國策？楚策，鷸蚌相爭出自顏策，畫蛇添足出自齊策，雕舟求劍出自呂春秋？查進，“自相矛盾”來源於“什麽都做錯了？困境”，都是古代寓言。如《史記》中的“完璧歸趙”？《廉頗藺相如傳》“破釜沈舟”出自史記？《項羽本紀》“草木皆兵”出自《晉書？苻堅錄》、《壹舉兩得》出《北史？《孫勝傳》“壹口蜜腹劍”出自《唐書？《李傳》是壹個歷史故事。至於古書的截取，更常見的是作為四字成語。比如《有條不紊》取自《尚書》？潘庚的“提綱若在提綱中，則井然有序”“舉壹反三”摘自《論語》？“取壹隅，不取三隅反之，則永無復有”，“痛心疾首”取自《左傳·仕十三年》，“痛心疾首，吾將獨善其身”，“爭強好勝”取自《莊子》？漁父“千騎之主，千騎之王，無所顧忌”，“奴性”取自葛洪《抱樸子？溝通以嶽誌的獨立者為不暢，以他人的附庸者為現世之解。有計劃的思想，取自宋代蘇軾的《筆墨顏古顏朱姬》。等等，不勝枚舉。還有很多人用古文造句。如《詩經》中的“憂國”？趙南？蟲”，“外強中幹”出自《左傳》公十五年，“待工”出自《孫子？軍事鬥爭，《追根問底》出自蘇軾的《後赤壁賦》，《萍水相逢》出自唐代王波的《王騰亭序》，《牢不可破》出自唐代韓愈的《平懷西貝》。
人們口中經常使用的壹些四字成語也可以歸為成語。如“咬文嚼字”、“拖拖拉拉”、“順從陰氣”、“不三不四”、“直言不諱”等與成語結構相同。還有壹些成語是通過接受外來文化而出現的。比如《炒作》《爆炸》《不可思議》《必經之路》。
成語壹般是四字格，不算少。如“五十步笑百步”、“欲速則不達”、“醉翁之意不在酒”。成語壹般用四字格，這與漢語本身的句法結構有關，也與古漢語以單音節詞為主有關。
成語是長期形成的形式簡潔、含義精辟的固定詞組或短語。成語多由四個字組成，但也有三個或三個以上的字。成語的來源有五:壹是神話傳說，如誇父的日常、精衛的開荒；二是寓言，如雕舟求劍，以假亂真；三是歷史故事，如負荊請罪、破釜沈舟；四是文學作品，如《老紀·福永》、《照妳》等；第五，外來文化，比如無量功德，火中取栗。
成語有很大壹部分是從古代傳承下來的，在用詞上往往與現代漢語不同。其中有來自古籍的句子，有從古代文章中壓縮出來的短語，也有來自人們口中的成語。有些意思可以從字面上理解，有些不可以，尤其是典故。如“汗牛充棟”、“臥虎藏龍”、“卷土重來”、“草木皆兵”等在漢語成語中占有壹定比例。漢語歷史悠久，成語很多，這也是漢語的壹大特色。