古代就有手語的存在，並非專為聾啞人所有，古人靠手勢來傳達溝通意見，而後才慢慢產生語言。手語歷史悠久，但是正式的聾教育卻是四百多年前才發展的，可考察到的是法國第壹位偉大的聾教育家德雷佩神父，為了需要，自己創造發明手語以利管訓工作。到了1760年他的收容所改為國立聾校，他被任命為第壹任校長，他的助手認為應該編手語字典，也花很多時間致力於手語編輯工作，可惜手勢太復雜，不能廣泛被人使用，何況壹個字有時往往需要用許多手勢方能解釋清楚，尤其抽象的表達更難，所以在1880年後只好改用口語法教學。
1959年，當時的中國盲人聾啞人協會整理修訂了《聾啞人通用手語草圖》，報請原內務部、教育部、中國文字改革委員會批準試行，先後***出版了4輯、含2000個手勢圖示。
1979年，原中國盲人聾啞人協會在草圖的基礎上重新繪圖，又出版了兩輯的《聾啞人通用手語圖》，1982年討論和制定了640個新詞手勢動作，並由民政部、教育部、中國文字改革委員會批準試行和推廣。