皆さんは「読話」を知っていますか。読話とは、相手の口の動きを見て、話の内容を理解すること。聴覚障害をもつ人やその周囲の人にとって、大切なコミュニケーション手段のひとつです。もしかしたら、「初めて知った」という方も多いかもしれませんね。神奈川工科大学 情報学部情報工学科 画像情報処理システム研究室が開発した「読話クラブ」は、読話のトレーニングができるアプリ。初心者でも気軽に読話に親しむことができる内容になっていると聞き、さっそく体験してみました！
アプリで簡単に体験できる読話トレーニング
アプリを紹介する前に、読話のしくみを簡単に説明します。読話を行うときは、たとえば、母音「あ・い・う・え・お」を発音するときの口の形や、バ行・パ行・マ行といった子音を発音するときの唇の動きなど見ながら、相手の言葉を読み取り、何を伝えようとしているのかを把握します。読話だけで言葉を精密に読み取ることは難しいのですが、手話のように使用できる人が限られるわけではないところが利点。手話や筆談、補聴器と組み合わせることでコミュニケーションに役立てられています。
「読話クラブ」は、そんな読話のトレーニングができるiPad専用アプリです。アプリストアの概要欄には、「主に、難聴者やその家族、声による会話が難しい人と接する方々などにご利用いただき、コミュニケーションに役立てていただくことを想定しています」と書かれています。どんな風にトレーニングをするのか、使って確かめましょう！
「読話クラブ」タイトルページ
こちらがタイトルページです。メインのメニューは、［口形学習を行う］と［訓練を行う］と［試験に挑戦する］の3つ。初めて挑戦する人は、一番下の［レクチャーを見る］で、読話の基本をさらっと勉強しておくことをおすすめします。
それでは、上から順に挑戦していきましょう。まずは［口形学習を行う］から。
［口形学習を行う］＞［音で口形パターンを学ぶ］
［口形学習を行う］には、［音で口形パターンを学ぶ］と［口形パターンの音を学ぶ］の2メニューがあります。上の画像は［音で口形パターンを学ぶ］。クイズ形式で口形パターンを学びます。「ぺ」の音は、口を閉じた状態から「エ」の音を出すので、答えは「閉→エ」ですね。テンポ良くさくさくクイズに答えていくうちに、口形学習の世界に慣れてきます。
［口形学習を行う］＞［口形パターンの音を学ぶ］
続いては［口形パターンの音を学ぶ］。三角形の再生マークを押すと、無音で口が動く仕組みです。口形が「イ→ア」と変化する音はどれでしょう。答えは「ひゃ」と「じゃ」かな？……と思いましたが、残念、正解は「な」と「ひゃ」と「じゃ」でした。言われてみれば、「な」も、最初の口形は「イ」かも。ちょっと難しい……。
［訓練を行う］
タイトルページに戻って、次は2番目のメニュー［訓練を行う］を試してみましょう。単語例のボタンから単語を選び、再生ボタンを押すと、動画で口の動きを教えてくれます。
［訓練を行う］では、単語例だけでなくひらがな・カタカナを入力することで、その単語も発話してくれます。この機能には、画像生成AI技術が活用されています。たとえば「ぺ」という音を出すときは、口を閉じた状態から、「エ」という形に口形が変化しますね。それを表現するために、まず、口を閉じている画像と、「エ」の口形の画像を用意します。それから、「閉→エ」の間をつなぐ画像を生成AI技術で作成し、それらを並べて「閉→エ」と口形が自然に変化していく動画を作成します。そのような動画を仮名ごとに作成し、単語に合わせてつなぎ合わせることで、自動で発話動画が生成できるようになっているそうです。
［訓練を行う］単語を入力すれば、その通りに発話してくれる
ところで、読話の難しいところのひとつに、「同口形異音語」があります。これは、音は異なるけれど、口形は同じ、という単語のこと。「たばこ・たまご・なまこ」などがそれにあたります。音声が聴こえない場合、口形だけでこの3単語を区別するのは難しいのです。
……という話を聞いたので、試しにこちらで「たばこ」を入力してみました。3回動画を再生して、それぞれ頭の中で「たばこ・たまご・なまこ」と唱えながら見てみます。すると、びっくり！ 3回とも同じ動画なのに、「たばこ・たまご・なまこ」と言っているように見えました。音声のない会話の難しさが実感できました。
［試験に挑戦する］
さて、もう一度タイトルページに戻って、最後は3番目のメニュー［試験に挑戦する］へ。
こちらは、口の動きを見て、選択肢の中から正解を選ぶ試験です。発話動画の下部分にある「音の数」「1音目」「カテゴリー」は、それぞれ答えにかかわるヒントです。おすすめは、発話動画だけ見て推理→ヒントを見て推理→選択肢から推理、という順番。選択肢を見る前に単語が当てられたときは、ゴールが決まったような爽快感が味わえます。
「読話クラブ」は、聴覚障害をもつ人だけでなく、誰にでもおすすめできるアプリ。ゲーム感覚で、楽しく読話を学ぶことができました。読話を知っていれば、聴こえづらい人とお話するときに、ゆっくり分かりやすく口を動かす配慮などができるはず。ぜひ一度、試してみてください！
