第二次大規模南遷是在西晉末“永嘉之難”和東晉“五亂”時期。當時，為了避難，壹些中原居民轉移到福建、廣東和江西的邊境地區。後來由於南北對峙，約有96萬中原人南遷至長江中遊兩岸。壹部分人口流入贛南，壹部分通過寧都、石城進入福建、廣東。
第三次大規模南遷是在晚唐黃巢起義時期。第壹，唐朝的安史之亂給人民帶來了巨大的災難，迫使中原地區的大量漢人南遷。晚唐黃巢起義時期，大量中原漢人南下福建、廣東、江西等地。例如，宗室孟莉從長安遷到汴梁，然後遷到福建寧化石壁鄉。固始人王旭、王超響應黃巢起義，率領五千農民起義軍從廣州、壽州向江西進發，導致閩贛邊界人口劇增。
第四次大規模南遷是宋末的南渡。金人入侵中原，攻打汴京(東京，今河南開封)。建言南渡時，壹些官員和學者遷往太湖流域。另壹部分人南渡大玉嶺，進入南雄、始興、韶州；或沿洪、吉、前州，再從前州到汀州；還是留在贛南各縣。南宋末年，元軍大舉南下，大批江浙贛宋人從莆田逃到廣東沿海潮汕，逃到海南島。
第五次南遷是在明末清初。當時居住在贛南、粵東、粵北的客家人，因為人口多，土地有限，遷徙到四川、湖南、廣西、臺灣、粵中、粵西等地。這種大規模的遷徙在客家移民史上被稱為“西進運動”。四川的客家話，基本上就是源於這場“西進運動”。當時四川人口因戰亂、瘟疫、天災銳減，清政府特別鼓勵移民從湖廣填四川。
第六次南遷是在19世紀中葉太平天國時期。當時，為了躲避戰亂，壹部分客家人遷徙到了南亞，壹部分被引誘成為契約勞工，被帶到馬來西亞、美國、巴拿馬、巴西等地。
除了上述六次大規模的南遷，中原地區的漢人也有壹部分因旱澇災害而南遷，還有壹部分因歷代官員貶謫、經商、遊學而定居在閩粵贛邊區。但並不是所有南遷的漢人都成了客家人，只有閩粵贛系和本系的人才稱為客家人。