科大學生開發革命性手機應用程式 有效翻譯手語句子

香港科技大學工學院計算機科學及工程學系三位應屆畢業生開發了一個手機應用程式，可以將中文句子翻譯成為手語句子。

這手機程式的突破，在於它可以翻譯句子，而一般手語翻譯程式只能翻譯單字或單詞。

這程式將失聰或弱聽人士的溝通帶到更高層次，對學習手語（特別是手語語法）尤其有用。

科大計算機科學及工程學系副教授麥鑑榮說：「科大一向努力回饋社會，特別是弱勢社群，包括聽障人士。這項目是個很好的例子。

「一個近期的調查顯示香港有約5萬位全聾或聽障人士，但只有54位手語翻譯員。因此我們需要更多能做手語翻譯的人士，而這程式對手語翻譯員的訓練很有幫助，也方便市民大眾與聽障人士的溝通。」

這應用程式是三位同學：黎家偉、翁偉超、梁銘方的畢業專題項目。他們首先研究現有的手語翻譯應用程式，以及有什麼改良空間。

黎家偉說：「開發這應用程式的最大挑戰之一是手語的語法與中文的語法不同。例如，手語中的形容詞、副詞、數目和發問詞一般置於名詞後面，而中文一般是置於名詞前面。」

翁偉超說：「我們的挑戰是設計一個配合手語語法的句子拆解算法。在這基礎上，我們使用FFmpeg軟件進行錄像合成，將各手語片段整合，形成完整句子。」

由於梁銘方懂得手語，很自然就擔任了手語錄像的主角。「對我來說，這是個難忘的經驗。在半年內，我攝錄了1700個手語字詞。為了使視像效果保持劃一化，我每次錄像都要穿同一件衣服，並保持同一髮型。雖然有這些限制，我對成果感到非常滿意。」

展望將來，三位同學認為有幾方面可以繼續改善。黎同學說：「首先，我們可以透過機器學習，收集大量數據，以改善詞句拆解的水平。其次，我們認為在影像處理方面可以提升，使詞語與詞語之間的轉接更加順暢。最後，我們認為長遠來說，應該使用電腦動畫取代真人錄像，以達到更一致的視覺效果。」