天津理工大學聾人技術學院副院長袁是這些聽障大學生的老師，也是無障礙智能技術中心的成員。她介紹:“無障礙智能技術研發中心將為冬奧會直播提供AI手語數字人的手語語料庫支持。我和學生忙了兩個多月。能夠為冬奧會服務，我們深感榮幸。”
教人工智能識別手語
2021在中國高等工程聾人特殊教育成立30周年大會上，壹個“手語角”吸引了很多人駐足。只要對著鏡頭打手語，身後的顯示屏上就會有連貫的文字翻譯。袁展示的項目“鯨語”——多模態連續手語自動標記識別系統(以下簡稱“鯨語”)，被稱為“復雜場景下實時中文手語翻譯系統”。據介紹，在光線充足且穩定的房間內，該系統對手語的識別率可達95%，部分場景可實現“同步翻譯”。開發這個系統的目的是讓每壹個有聽力的人都能輕松理解手語。其自動標註識別系統“鯨魚會說話”也在去年第七屆中國國際“互聯網+”大學生創新創業大賽中獲得了主賽道金獎。
王建元是R&D隊的成員。他是聾啞家庭長大的聾啞孩子，聽力損失嚴重。單詞和聲音很難發音。手語是他與世界打交道的第壹個也是最有效的方式。22年來，聾人的身份並沒有讓他自卑；嘴巴不會說話，也沒耽誤他成為壹個正經的“學霸”；但如果妳問他從小因為聽力障礙遇到過哪些不便，他會很淡定地在手機上打出四個字:壹切——因為懂手語的人太少了。
典型的例子就是看病。如果沒有手語翻譯，哪怕只是頭疼腦熱，壹個“手語族”王力可建院也很難獨自看病——大部分醫生不會手語。
自6月5438+0991 9月11首批6名聾人學生入學以來，天津理工大學聾人學院的老師們積累了大量與聾人交流的經驗。
袁主修計算機科學。2006年研究生壹畢業，她就在聾人技術學院計算機科學與技術系工作。上班第壹天，她面臨的挑戰是學習手語。通過讀詞讀唇，學生能聽懂老師的話，但老師不能很快聽懂學生的話。跌跌撞撞學手語，袁記不清有多少次淩晨壹兩點陪學生看病，幫忙做手語翻譯。
中國有2780萬聾人。健康的人如何依靠科技的力量進入他們的世界？袁、、等人開始了“鯨語”手語實時翻譯系統的研發。
“鯨語”的實時手語翻譯類似於“拼音輸入法”的手語版本。只是後者是輸入語音，機器識別並轉換成文字，而前者是輸入手語動作和表情，機器識別。
要把人工智能訓練成壹名合格的手語翻譯，我們得把手勢、表情、大身體動作從視頻轉換成數據，然後“教”給計算機。所以，能充分理解和展現手語之美的聽障學生，是最適合做人工智能“老師”的人。
國外很多團隊建立的手語數據集無法支持復雜場景下的手語翻譯。壹個直接原因是找不到足夠多的人在自然狀態下收集手語。“我們團隊背靠聾啞人技術學院，很多成員本身就是手語使用者，在自然手語的采集上有優勢。”袁對說:
讓聽障者“讀懂”聽障者更重要。
在冬奧會上，袁的人工智能手語數字人可以幫助聾人更好地理解聾人的表達方式。“鯨語”的手語識別和翻譯，借助科學技術，幫助聾人更好地理解聾人的表達方式。兩者有什麽區別？
做壹個AI手語數字人，就是讓聾人用熟悉的方式理解健康人的表情。核心研發點是手語生成，而手語識別和“鯨語”翻譯的核心研發點是手語識別，“鯨語”的技術難度更大。“鯨魚會說話”需要兩項技術:計算機視覺和自然語言識別。聾人的手語，包括表情、手部動作、肢體動作，都需要計算機融合識別，這就是計算機識別技術。它是壹種自然語言識別處理技術，通過計算機程序將計算機識別的信息轉換成聽障人士熟悉的語言模式。AI手語數字人，某種程度上只涉及自然語言識別處理的技術過程。從技術轉化的角度來看，AI手語數字人的行業落地時間會更短，在數據上的投入也相對較少，更容易將成果市場化。
“為什麽壹定要手語翻譯？聾子聽不見妳說話。現在有語音識別了！有的聾人不會說話，就不能用手機打字嗎？”有企業曾向袁詢問正在開發的手語實時翻譯系統，想談投資。但談完之後，他們對項目的必要性提出質疑，覺得手語翻譯除了“做好事”沒有其他意義。為什麽要致力於“鯨魚會說話”的研發和轉化？
“在和學生交流的過程中，我知道對殘疾人最好的關心就是平等。他們不是殘疾人，只是和我們不壹樣。”袁對說:
交流總是雙向的。我們教聽障人士寫字、讀字、讀唇語，他們在努力融入聽障人士的世界；我們聽障人士也應該為理解和接納聽障人士做出壹些努力。
袁說，直到今天，手語仍然是許多聽力障礙者最自然、最高效的表達方式，“比寫字和打字都快”。但是，為了促進無障礙交流，要求所有聽力正常的人都學習手語顯然是不現實的。“鯨魚會說話”的實時手語翻譯系統，就是利用高科技，讓健康人嘗試接近聽障人。