古代就有手語的存在，並非專為聾人所有，古人靠手勢來傳達溝通意見，而後才慢慢產生語言。古人以打獵耕種為主，社會上需要遵循的規則也少，因此聾人較能適應生活，但文化發達後社會進步，抽象的符號也多，為了適應社會生活，只好藉手語來表達溝通情意了。
手語歷史悠久，但是正式的聾教育卻是四百多年前才發展的，可考察到的是法國第壹位偉大的聾教育家德雷佩神父，為了需要，自己創造發明手語以利管訓工作。到了1760年他的收容所改為國立聾校，他被任命為第壹任校長，他的助手認為應該編手語字典，也花很多時間致力於手語編輯工作，可惜手勢太復雜，不能廣泛被人使用，何況壹個字有時往往需要用許多手勢方能解釋清楚，尤其抽象的表達更難，所以在1880年後只好改用口語法教學。
美國在1817年設救濟院，收容聾者並開始使用手語。日本模仿力強，1880年也在東京設立第壹所聾人學校，而後大阪、京都也都相繼成立聾校。1895年起臺灣被日本人占據50年，在這段期間日本人在臺灣的臺南、臺北成立聾校，所使用的手語大多是東京、大阪型。
1887年美國傳教士梅耐德夫人，在大陸山東成立啟瘖學校，她采用口語教學，出版壹套用貝利字母拼音編輯的《啟瘖初階》讀本，聾人間也有他們使用的大陸型手語，而且廣行於北平、上海、南京和廣東，甚至香港各地，1945年臺灣光復，在臺的日本老師被遣送回國，1949年大陸解放後，有些大陸聾校的老師棧臺北啟聰任教，於是臺北混合了壹些大陸語。左營啟英聾校姜校長畢業於大陸啟瘖學校，則采用大陸系手語。再加上聾胞散居各地，北、中、南三所聾校地區隔離，於是聾人所使用的手語逐漸現差異。