這個成語的來源是：徐庶投靠劉備後，接連數次打敗曹軍大將曹仁，並且奪得樊城。曹仁與副將李典逃回許昌後，去見曹操，告知了劉備主要依靠“單福”取勝的消息。曹操的謀士程昱笑道：“此人不是單福，而是穎州徐庶。單福是其假托之名。”程昱還告訴曹操徐庶才能比他高了許多，並向曹操獻策爭取徐庶入曹。原來，徐庶為人至孝，幼年喪父，家中只有老母，而其弟徐康已亡，老母無人奉養；程昱於是教曹操把徐庶的老母賺至許昌，然後命其寫書信招徐庶來歸。為此，徐庶不得不離開劉備，投入了曹營。然而，曹操雖然得到了徐庶，徐庶卻從不為他出謀劃策。原因壹是徐庶篤於對劉備的情義，回到曹營不是出於本心；二是其回到曹營之後，真相大白，老母憤而自縊。徐庶自知被騙，故而深恨曹操，發誓不為曹操設壹計謀。這就是著名的“徐庶進曹營，壹言不發”的故事。