湛江人不會說粵語的原因是：在湛江地區，雷州話是通行語言而不是粵語。
今湛江市屬的雷州市、遂溪縣、徐聞縣、麻章區、赤坎區、霞山區、坡頭區、廉江市南部、吳川市東部及茂名電白等通行雷州話，為廣東四大方言之壹。
嶺南地區自古視為“蠻荒之地”，中國大陸最南端的湛江，更是“蠻荒中的蠻荒”，舊時這壹帶土著民族為少數民族，操少數民族語言，現在湛江最主要的方言，就是隨著人口遷徙，方言融合的結果。
有人統計過，中國幾千年封建社會，幾乎每壹天都有戰爭發生，王朝更替，百姓為了躲避戰亂饑荒，不得不遷移，唐代之後，大批漢人從福建遷至雷州半島，亦帶來閩南方言，人多勢眾的福建人，反客為主，閩語遂成雷州半島最通用的語言，後發展成雷州話。湛江市本地居民說雷州話有600多萬人，說其他方言約150萬人。
雷州話特點
雷州話中保留的古漢語很多特色，例如在人稱上，雷州話就很有古味，白文中的“他”或“她”，雷州話卻用“伊”字。
還有在第二人稱代詞“妳”字，雷州話卻用“汝”字（很多人寫雷州方言是都用“魯”字取代“妳”，這是不正確的寫法，只能起到諧音，但沒有壹點含義）。
另外，在時間上也保留著古老的時刻，如果壹個外地人聽起來簡直是要古漢語詞典了，例如：日鬥（中午），船年（前年）等，很有味道。
另壹個比較明顯的是，雷州話中的狀語後置，在現代漢語中，狀語壹般位於謂語之前，但雷州話如今卻依舊保留著這個古漢語狀語後置的特點。
例如：在現代漢語中的“妳要多吃壹點。”而雷州話卻把“多”這個狀語放到了“吃”謂語之後，形成了“妳要吃多壹點。”
以上內容參考百度百科 - 湛江話