成語大都有壹定的出處。如“狐假虎威”出於《戰國策?楚策》，“鷸蚌相爭”出於《燕策》，“畫蛇添足”出於《齊策》，“刻舟求劍”出於《呂氏春秋?察今》，“自相矛盾”出於《韓非子?難勢》，都是古代的寓言。如“完璧歸趙”出於《史記?廉頗藺相如列傳》，“破釜沈舟”出於《史記?項羽本紀》，“草木皆兵”出於《晉書?苻堅載記》，“壹箭雙雕”出於《北史?長孫晟傳》，“口蜜腹劍”出於《唐書?李林甫傳》，都是歷史上的故事。至於截取古書的文句用為四字成語的更為普遍。如“有條不紊”取自《尚書?盤庚》“若綱在綱,有條而不紊”,“舉壹反三”取自《論語?述而》“舉壹隅，不以三隅反,則不復也”,“痛心疾首”取自《左傳》成公十三年“斯是用痛心疾首,暱就寡人”,“分庭抗禮”取自《莊子?漁父》“萬乘之主,千乘之君,未嘗不分庭抗禮”,“奴顏婢膝”取自晉代葛洪《抱樸子?交際》“以嶽峙獨立者為澀吝疏拙，以奴顏婢膝者為曉解當世”, “胸有成竹”取自宋代蘇軾《文與可畫筼筜谷偃竹記》“畫竹必先得成竹於胸中”。諸如此類，不勝枚舉。其他采用古人文章成句的也為數很多。如“憂心忡忡”出自《詩經?召南?草蟲》，“外強中幹”出自《左傳》僖公十五年，“以逸待勞”出自《孫子?軍爭》，“水落石出”出自蘇軾《後赤壁賦》，“萍水相逢”出自唐代王勃《滕王閣序》，“牢不可破”出自唐代韓愈《平淮西碑》。
在人民口裏常說的壹些四字習用語也可以歸入成語裏來。如“咬文嚼字”、“拖泥帶水”、“陽奉陰違”、“不三不四”、“心直口快”之類,與成語的結構相同。在成語中也有些是接受外來文化而出現的。如“天花亂墜”、“當頭棒喝”、“不可思議”、“不二法門”都是。
成語壹般都是四字格式，不是四字的較少。如“五十步笑百步”、“ 欲速則不達”、“ 醉翁之意不在酒”。成語壹般所以用四個字，這與漢語本身句法結構和古漢語以單音詞為主有關系
成語是長期以來形成的形式簡潔而意思精辟的固定詞組或短語。成語多由四個字組成，但也有三個字或四個字以上的。成語的來源有五個方面：壹是神話傳說，如誇父逐日和精衛填海；二是寓言故事，如刻舟求劍和狐假虎威；三是歷史故事，如負荊請罪和破釜沈舟；四是文人作品，如老驥伏櫪和青出於藍；五是外來文化，如功德無量和火中取栗。
成語有很大壹部分是從古代相承沿用下來的，在用詞方面往往不同於現代漢語。其中有古書上的成句，也有從古人文章中壓縮而成的詞組，還有來自人民口裏常說的習用語。有些意義從字面上可以理解，有些從字面上就不易理解,特別是典故性的。如“汗牛充棟”、“虎踞龍蟠”、“東山再起”、“草木皆兵”之類，在漢語成語裏占有壹定的比例。漢語歷史悠久，成語特別多,這也是漢語的壹個特點。