「しゃべり描きUI」は、外国語や手話ができなくても外国人や聴覚障がい者との円滑なコミュニケーションを実現する音声認識技術を活用した、次世代のコミュニケーションツールです。
好きな場所に絵を描くように、話した言葉を指でなぞった軌跡に表示することで、筆談より手軽で直感的な操作ができ、手描きイラストと組み合わせることで、文字だけに頼らない表現が実現できます。さらに、多言語翻訳により、外国人ともより楽しくより深く想いを伝え合うこともできます。
「しゃべり描きUI」は、CEATEC AWARD 2016の『暮らしと家でつながるイノベーション部門』においてグランプリを受賞しました。
利用イメージ
「しゃべり描き UI」開発の背景
コミュニケーションの壁を、UI（User Interface）の力で壁を乗り越えたい
耳の不自由な方は、指さしながら説明されても説明している人の唇の動きと指先を同時に見ることができないので、話を理解するのが難しいという課題がありました。また、筆談ボードを使うと、文字とお絵かきを組み合わせて表現することにより、耳の不自由な方や外国人とコミュニケーションがとれるという特徴があります。このふたつに着目し、話した言葉を指先に表示し、文字とお絵かきを組み合わせて表現できる次世代コミュニケーション技術「しゃべり描きUI」を開発しました。
アプリを作る上で大切にしたのは、直感的で気持ちの良い操作感、そしてしゃべり描きUIによって生まれる人と人のあたたかい繋がりです。
インターフェースデザイン部
平井 正人
耳の不自由なインターン生との出会いから、デザイナーの自主研究プロジェクトが発足
三菱電機らしくないこのアプリは、様々な専門領域のデザイナーによる自主研究プロジェクトから生まれました。きっかけは、耳の不自由なインターン生との出会いです。「もっと話したい」そんな想いから、自主研究プロジェクトが始まりました。
最初の想いを最後まで大切にしながらプロジェクトを進め、耳が聞こえないという「障がいの壁」だけでなく、言語が異なるという「国境の壁」も乗り越えられる、人と人の気持ちが繋がるコミュニケーション技術が完成しました。
今までにない新しいUIの実現、応用展開の広さや有効性などが評価されて、CEATEC AWARD 2016でグランプリを受賞しました。（暮らしと家でつながるイノベーション部門）