這個成語的典故和兩個歷史人物有關。春秋戰國時期，晉國軍事家先軫俘虜了秦國的大將孟、白和三人。文襄公的繼母文達是秦國人。聽了這話，她試圖說服放了這三個人，金鄉公終於放了他們。先軫聽了大怒，說這是老虎歸山。晉襄公醒了，追不上。孟等人回國後，仍然掌握著兵權，三年後打敗了晉國。
另壹個典故與劉備有關。東漢末年，劉備被呂布打敗，被迫投奔曹操。曹操的謀士程羽見劉備是英雄，主張趁機殺了劉備，以免後患，曹操不聽。呂布被曹操滅後，劉備借口截擊袁術，留下曹操數萬人馬。程羽聽到消息後對曹操說:“當初我讓妳殺劉備，妳拒絕了。現在妳給他兵馬，讓他單獨出兵。妳這是讓老虎去山林了！”果然，打敗袁術後，劉備占領徐州自立門戶。
所以“放虎歸山”這個成語，就是把敵人放走，留下後患。