YYSystemの紹介
YYSystem(株式会社アイシン)
YYSystemは、「YYProbe」「YY雰囲気カメラ」「YY文字起こし」など音声認識を使ったコミュニケーションを支援する
アプリです。
アプリの種類
YYSystemは音声認識を組み込んだ様々なアプリがあり、それぞれ用途に合わせて使い分けることが可能です。
※YY文字起こしとYY雰囲気カメラの紹介ページはまだ存在していないためリンクを貼っていません※
アプリ名 | おすすめの用途 |
YYProbe | 会議やグループでの会話など、複数人の文字起こしを見たい時におすすめです。 |
YY文字起こし | 一対一での会話、もしくは講演など一方的に人の話を文字起こしを見たい時におすすめです。 |
YY雰囲気カメラ |
ライブや野球ドームでの試合など、風景を見ながら文字起こしを見たい時におすすめです。 |
YYデスクトップ字幕 |
パソコン上で使うアプリ。 |
YYSystemの特徴
ここからはYYSystemの様々なアプリに共通している特徴を紹介します。
※「可能」ではありますが、どんな状況でも100%音声認識が可能というわけではありません※
●共通した特徴
- 騒がしい環境下での音声認識に強い
もともと、株式会社アイシンは工場で働いている聴覚障害者が多くおり、騒がしい環境下での音声認識が
求められていました。
また、コロナ禍でマスクをして話す人が増えそれで困る聴覚障害者もいたため、騒がしい状況で
音声認識ができるアプリの開発が始まったという流れがあります。そのため、YYSystemは騒がしい環境下での音声認識に強いのが1つの特徴です。
- 人の声と雑音や音楽を分離させ、人の声だけを音声認識させるため精度がとても高い
従来の音声認識では、雑音や音楽など周囲の音が混じるとその分音声認識の制度が落ちることが一般的でした。
しかし、YYSystemではそれを打破し、雑音などをカットして人の声のみを検出するという特許を取りました。
そのため、人の声だけを音声認識させることが可能になり、それによって精度がとても高くなりました。 -
ろう者難聴者側からもキーボードで同時発言が可能
例えば複数人のスマホにインストールしたYYProbeアプリを使ってグループで会話をする場合、
ろう者難聴者側からも発言したい時はキーボードでの発言が可能です。
- 無線で人の音声を飛ばし、遠くにある映像に音声認識を表示させることが可能
離れている場所でアプリを起動し音声認識をさせて、それをそのまま無線で飛ばして遠くにある
巨大スクリーンに表示させることが可能。そのため、大人数での会議や講演会、ライブのMCなどでも使えます。 - 音声認識アプリ内で手書きの文字やイラストで相手に伝えることが可能
スマホに音声認識画面を表示させている時に、手書きで文字やイラストを描き、それを相手に見せることも可能。
相手に言葉だけでなくイラストで伝えたり、また、地図を書いて場所を伝えたりする時などにも便利です。 - 集音が広い/狭いの選択ができるので、広い部屋で端にいる人の音声を拾うことも可能
マイクの集音を「広い」「狭い」に設定できます。
それによって、例えば隣に座っている人の音声を拾いたくない場合は「狭い」にする、
遠くにいる人の声を拾いたい時は「広い」にするなど、その時の状況に合わせて設定できます。 - スマホに表示された音声認識をAppleWatchなどのスマートウォッチにも表示させることが可能
スマホとスマートウォッチを連携させれば、音声認識をスマートウォッチでも確認することが可能になります。 - 2023年時点では話者が話す言葉が英語・中国語の場合日本語に翻訳可能/翻訳を同時に表示可能
話者が話す言語・・日本語・英語・中国語
翻訳可能な言語・・日本語・英語・中国語を同時に表示させることが可能です。
(3か国言語同時にということではなく、1つの言語を選択して日本語を話した場合
その選択した言語と同時に表示させることが可能) - 人の声にUIが反応が可能
人の声にUIが反応することが可能なため、「人の音」がアプリに入ってきた場合は周囲の色が変わり、それで
人の声があるということが分かります。
また、人の声があるのに音声認識が出ていないときは、例えば声が小さいなどの原因があります。
それだけでなく、例えば「能」など人のセリフが音楽のように流れて聞こえるなどの時は、UIは反応しますが
音声認識は難しいということがあるようです。
●それぞれのアプリごとの特徴
ーYYProbeのみに存在する特徴
グループでの会話や講演を行う時など、参加者にURLまたはQRコードを送れば各自自分のパソコンのブラウザで音声認識の内容を見ることが可能
グループでの会話や講演を行う時などに参加者にURLまたはQRコードを送れば、その参加者の方々に
URLやQRコードを読み取ってもらいブラウザ上で音声認識を表示させることができます。- 「AI要約」といい、文字化された文章を要約して表示することが可能(設定でオンオフ可能)
例えば講演など、文字がずらずらっと出てくる場合、どんな話をしているのか分からなくなる時があります。
そういう時にAI要約を使えばシンプルに文章がまとめられて表示されます。 - 発言の修正がアプリまたはPCから直接可能
/
音声認識の一部を修正したい時は、アプリ内で直接修正ができます。
また、PCブラウザ上からも可能です。
かつ、修正したワードは色を変えて表示させることが可能です。
ーYY文字起こしのみに存在する特徴
- 飛行機などネット接続をしない環境でも音声認識が可能
通常ではオンラインでネットワークに接続した状態で音声認識をします。
しかし、飛行機などネット接続をしない環境だと音声認識ができません。
ですが、YYSystemは「オフライン音声認識」といって、ネット接続をOFFにした状態でも
音声認識ができるようにしてあります。
そのため、飛行機などネット接続ができない環境での音声認識も可能です。
※ただし、音声認識の精度は落ちます - 音声認識を起動している間、オノマトペも同時表示可能(設定でオンオフ可能)
例えば電車の音が聞こえてきた場合は電車のイラストが表示されたり、レストランでBGMが流れてきた場合は
音符のイラストが表示されたりなど、音声認識だけでなく周囲から聴こえてくる音は何かが視覚的に伝わります。 - 発言があった場合、プッシュ通知を出して更にスマートウォッチなどにも表示させることが可能
AppleWatchやGooglePixelWatchなどのスマートウォッチにも音声認識の発言を表示させることが可能です。
そのため、スマホを見なくても通知で発言が分かるようになっています。
ーYY雰囲気カメラのみに存在する特徴
- 音楽が流れてきた時にその音楽の歌詞・歌手の名前などが表示される(歌詞による)
- 例えば、ギターを演奏していた場合はそれを感知しギターのイラストが表示されるなど、視覚的にどんな楽器が
使われているのかが分かる - 風景をカメラ越しに見ながら音声認識が可能
- 「AI画像生成」という機能があり、それを使ってAI画像を作成することが可能
ーYYデスクトップ字幕のみに存在する特徴
- パソコン上で音声認識を表示させることが可能
例えばYoutubeなどパソコン上で動画を見たくても字幕がない場合、YYデスクトップ字幕をインストールして
パソコン上で音声認識を表示させながら動画を見ることが可能です。
ただし、動画の規約によっては音声認識NGのものもありその場合は音声認識を表示させることができません。
かつ、音声認識を表示させるためには、パソコンから音声を出さなければならず、周囲に声が聞こえても
困らない環境が必要です。 - 色の設定、背景色設定、フォントの大きさなども自由に設定可能
フォント、色、また、背景色の設定が自由に可能なのでため、視覚に障害があるを持つ方にとっても使い見やすい設計です。 - 透明の背景に設定も可能なので
きるため、例えばZoomの字幕代わりとしてZoom画面に重ねて使うことも可能です。