中國的古籍中荔枝最初稱作“離枝”。據考證，壹般認為荔枝是源自中國南部的野生森林。廣東、廣西及海南的原始森林中仍然可以找到野生的荔枝樹。在靈山縣伯勞鎮有兩棵野生荔枝，當地人叫山荔或酸枝，誌書又稱其為火山荔。從植株形態、果皮龜裂片形狀、果實肉薄且包不過核、肉核難分離以及味酸等特征來看，它們是原生的，是栽培荔枝的原種。
又有史料記載，公元前二世紀漢朝劉邦稱帝時，南海尉趙佗以荔枝進奉。公元壹世紀的《民物誌》、三世紀的《廣誌》中，荔枝都是作為嶺南物產登錄在冊。由此可見，荔枝在中國南部的栽種和生產已有兩千年的歷史。
在宋朝，靈山香荔在中國物產和文學史上曾兩度閃射耀眼的光彩。著名文學家蘇東坡從海南島的儋州流放地北歸逗留合浦期間，品嘗了從靈山送去的這壹佳果後，留下了膾炙人口的“日啖荔枝三百顆，不辭長作嶺南人”的千古佳句。宋神宗皇帝吃過大理寺丞梁世基從西江南岸老家送去的這壹珍品後，欣然賜詩：“橫浦江南岸，梁家間世賢。壹株連理木，五月荔枝天。”