壹般認為，客家民系是少數南遷漢族人在唐末至明中葉聚集於閩、粵、贛連結地區，經過與當地畬、瑤等人口居多數的土著居民融合而成的，具有有別於漢族其他民系的獨特的方言、文化和特性的壹個漢族民系。其文化的主要特征及表現出繼承中原漢族文化，所以應肯定為漢族的壹個支系。但是這支民系不是純漢族血統，其文化也不是純中原漢文化，所以作為壹個群體，其成員就應該包含相互融合，享有***同文化特征的不同民族的成員。因此，“客家”的說法是作為壹個漢族民系的稱謂，並非是壹個種族的概念，而是文化的概念。
客家人的遷徙
客家人有編修族譜的習性。如果追本溯源，從客家人的姓氏族譜中，可以發現客家人源於漢族，是住在中國北方的居民。活動範圍約在今山西、河南、湖北間。經語言學家考證，客家方言'次接近中原古音韻'(最接近的為閩南語)，其社會宗法制度、文化生活習俗、服飾衣著、信仰崇拜、風水迷信等方面類於舊中原。
根據族譜和史冊，客家人是指靖康之變後遷居到南方的中原人，他們大部分都是青年男子。這些中原男子與當地的越女通婚，後代繼承了父輩的姓氏和儒家文化，也繼承了百越的風俗，所以客家話具有宋代漢語及百越語的特點。他們與秦人後裔的廣東人及晉人後裔的閩南人的關系並不好。
因北方的動亂不安客家人歷經五次大遷移，根據歷史學者羅香林的研究，客家人從黃河流域的中原地區南遷，可分五個時期：
第壹次大遷徙，在東晉永嘉年間。五胡亂華，國都由洛陽遷往南京，中原壹帶胡騎縱橫，兵荒馬亂，大批貴族名流及平民百姓紛紛往江南遷移。為了避難，客家祖先也紛紛南遷，渡過黃河，到達湖北安徽、河南南部，及江西壹帶。
第二次大遷徙在唐末至宋，主要是受到黃巢之亂的影響，迫使客家先民遷移到安徽南部、江西東南部、福建西部與南部、廣東東部東北邊界等地區。
第三次大遷移發生在南宋末到明代初年。蒙古人入主中原，宋室南渡，當時居住在江西南部、福建西部的客家人也隨著遷移到廣東東部和北部，並擁護宋朝王室，和蒙古軍隊對抗，犧牲壯烈。
第四次大遷移在明末清初到乾嘉之際。受滿人南下入主及內部人口膨脹等因素，由廣東東部、北部及江西南部遷往廣東中部及濱海地區，及四川、廣西、湖南、臺灣，且有壹小部分遷到貴州南部及南部及西康的會理。
第五次大遷移，在清幹嘉以後，因受土客械鬥及太平天國事件的影響，由廣東中部的新興、臺山等地遷到廣東西部的高、雷、欽、廉各州，遠的到海南島。
在五胡亂華中原人民輾轉南遷的時候，已有“給客制度”。南齊書州郡誌雲：‘南兗州，鎮廣陵。時百姓遭難，流移此境，流民多庇大姓以為客。元帝大興四年，詔以流民失籍，使條民上有司，為給客制度’。
可知客家的“客”字，是沿襲晉元帝詔書所定的。其後到了唐宋，政府簿籍，乃有“客戶”的專稱。而客家壹詞，則為民間的通稱，宋朝制作戶籍時，當時將自古以來即居住在該地的土著稱為“主”，以後從外地遷來的即稱作“客”﹔客家壹詞於此誕生。
根據現有的文獻記載，閩粵客向臺灣的遷移，最早始於明代中後期。明末清初，鄭成功在把荷蘭趕出臺灣之後，又把這裏作為反清復明的根據地，故而大量招募大陸人民入臺，開荒墾殖。正是從這時候起，閩粵兩省的居民開始大規模的遷移臺灣，而大本營地區的客家人也隨之進入臺灣。不過，最早來臺的客家人，雖是跟隨鄭成功的部隊入臺，但人數並不多，明鄭覆亡後，大都被清廷遣回原籍，對臺灣的開拓並沒有產生什麽影響，接著又是清初的禁止移民渡臺政策，主要的理由是防止臺灣再度成為反清復明之地，對客家人禁絕更嚴，因此客家人較大規模的移民，則是清康熙中葉以後的事了。
所以，客家人大批來臺，大約是在康熙二十二年(西元1683年)清軍平定臺灣以後，在此之前流寓臺灣而無妻室產業者，多被遣回原籍，加以清廷接受施瑯的建議，於康熙二十三年(西元1684年)頒布渡臺禁令，嚴格限制潮州府、惠州府人渡臺。但客家人迫於生計，冒險從梅州、汀州、漳州而來者仍多，遍布臺灣各地，參與開發臺灣的行列。
客家名稱的由來
“客家”出自於清朝中後期珠江中西部地區的土客械鬥，當地的移民被稱作客家人，進而引申到跟他們相關的祖地居民，如梅州人、惠州人等。他們因文化背景相似，均被稱之為客家人。實際上，壹開始“客”並非專指現代的客家人，比如在廣西壹帶，就有客家話被稱為艾話，而當地白話被稱為客話，後來約定俗成，“客家”成了粵東以及同粵東壹帶居民操持相同方言，具有相似文化背景的族群名稱。
另有壹說，指“客家”的本意應該是古代生活在南方的畬族舊名“山客”、“木客”。而後漢族移民在跟畬族人相處融合的過程中，借用了“客”這個說法，自稱“客家”。但現在說的“客家”則是指客家民系、是客家人的簡稱。這裏的“客”同樣包含了畬族人“山為主，故我為客”的意思。目前畬族人壹樣喜歡自稱“山客”。
但是，有學者認為，“客”不是簡單的相對“主”而言的外來者，和廣府系、福佬系這些同為中原南遷的漢族民系不同，從歷史的現象看，漢族南方各民系的形成時間都比客家民系早，基本都在同壹個行政區域之內（有的也只有部分外延），而客家民系形成時間較遲，而且不在同壹個行政區域內，是在三省的連結地區。還有壹個特別的現象是這方連結地區，原本的土著或稱主人，除了古代的越族之外，有“山客”、“木客”、“畬客”。他們大多也是“外來人”。這些“客”和後來的“漢客”混居壹地，長期融合，孕育出壹種獨具個性的語言、文化特征，（可以認為此時民系初步形成，但沒有正式的名稱）然而這些獨具特征的人外遷他鄉，如遷至福佬系、廣府系的聚居區，被當地主人稱為客人、客戶、客家。而且這壹稱呼是在福建沿海和廣東沿海不同民系中“叫”出來的，這在文化內含上，應該可以認為是對同壹文化特征（即後來確定的客家）人群的壹種“***鳴”。這是否同閩粵贛三省連結區原住民的“客”有關，或者說這些地方的居民已有“客”的說法（雖然未見文字記載），現尚難定論。 客家名稱的來由，現在比較***識的觀點是由“他稱”到“自稱”。“他稱”的時間是在明末清初。自稱的時間起始於清中葉。但這絕不等於客家民系這時候才形成。“他稱”首先是在福建南部沿海福佬人和廣東中西部沿海廣府人，“稱”出的。“自稱”便是自我認同。