プロジェクトがベースにしているのはビデオ会議での手話のテキスト翻訳システムで、現在、最大5000字までの日本語のテキストの翻訳が可能だという。
ソフトバンクは2017年に電気通信大学と共同で研究を開始した。開発には、人工知能専門のスタートアップの日本のABEJAも参加している。
アプリケーションのアルゴリズムの開発にあたり、ABEJAは、5万本の手話の動画にあたって手話の単語ごとの特徴的な動きを洗い出した。現在ABEJAはシステムの精度向上に取り組んでいる。
アプリは現在、東京と福島の医療機関で試験的に利用されており、一般公開は2024年を目途にしている。ソフトバンクは同様のシステムを今後、日本語以外の言語にも広げていく計画だ。
関連ニュース