這個成語出自蘇武放羊的故事。蘇武是漢武帝的壹個中郎將，被派往匈奴。到達後，已向匈奴投降的韓禹昌等人想劫持可汗的母親閼氏，返回漢。事發後，蘇武被卷入其中。他被關在地窖裏，然後被流放到遙遠的北海(現在的貝加爾湖)去放牧山羊。在扣留匈奴19年後，蘇武終於回國。史書稱他“堅如磐石”，這是對蘇武決心的贊頌。此後，許多史書記載中的“鐵石心腸”或“鐵石心腸”壹詞，也有“褒贊”之意。《三國誌·魏武帝紀》:“王弼，長史之首，我披荊斬棘時當官。他忠心耿耿，勤勤懇懇，心如鐵石，是國家的好官。”翻譯成白話文:領導王弼，是我奮鬥創業的時候的壹個人。他忠誠、能幹、勤奮、堅毅，是國家的清官。這裏的“心如鐵石”，無疑是誇王會“堅如磐石”
可見“鐵石心腸”是比喻心像鐵和石頭壹樣堅硬，卻是用來贊美的。因為，這個成語的關鍵點在於“不為情所動”，而不是“無情”如冰冷的鐵石。