Google はこの間、全力を尽くしましたI/O製品の製造方法を強調するためよりアクセスしやすい。大きな影響を与える可能性のあるプロジェクトの 1 つ: Live Captions、新機能の登場Android Qへ。
この機能は、オンラインかオフかに関係なく、携帯電話上のビデオまたはオーディオ コンテンツにリアルタイムでキャプションを自動的に表示します。
そうすれば、ビデオ通話、音声メッセージ、ポッドキャストなど、ほぼすべてのビデオおよび音声コンテンツを聴覚障害者や難聴者が利用できるようになる。また、音声をオフにしてビデオを視聴することがあるすべての人にとっても有益です。これがデータ接続なしで携帯電話で即座に実行できるということは、Google がそれを実行できれば、さらに驚くべきことです。
Googleはこの機能の発売日を明らかにしていないが、この機能はAndroid Qの一部として利用可能になる予定だとしている。しかし、私はそれを試す機会があり、ほとんど感動して立ち去ったが、改善する必要のある問題がいくつかあることは明らかだ対処される。
この機能が公開されると、使用しているアプリに関係なく、携帯電話全体でライブ キャプションを利用できるようになり、音声の再生中はいつでもライブ キャプションを呼び出すことができるようになります。ビデオを見ているときでも、ポッドキャストを聴いているときでも、音量を下げるキーを押して [ライブ キャプション] ボタンを表示するだけです。
マッシュ可能な光の速度
[ライブ キャプション] ボタンを使用すると、ビデオのキャプションを有効にすることができます。 クレジット: raymond wong / mashable
このテクノロジーの最も印象的な側面の 1 つは、オフラインの場合でも、キャプションがほぼ即座に表示され始めることです。 （Google が I/O で発表した他の多くの新機能と同様、ライブ キャプションはすべての処理をデバイス自体で行うため、接続は必要ありません。）私のデモ全体は、機内モードで WiFi に接続されていない携帯電話で行われました。
実際のキャプションに関しては、明らかにまだかなりの作業が進行中です。同僚のレイモンド・ウォンと私が話している動画を使って試してみたところ、結果はまちまちでした。
ツイートは削除された可能性があります
静かな部屋で携帯電話のマイクを近づけたときの結果は、ほぼ完璧でした。キャプション システムはところどころ単語に問題がありましたが (「ハッシュタグ」が問題になっているようでした)、それ以外の点ではその正確さは印象的でした。
しかし、電話機をスピーカーから数インチ離すと、状況の一貫性が大幅に低下しました。ビデオ内の音声は明瞭であったにもかかわらず、多くの単語を誤認識しました。これらの問題は、背景ノイズが多い部屋でライブ キャプションを試したときにさらに顕著になりました。ある例では、キャプション システムが同じビデオに対して数秒以内に大幅に異なるテキストを生成しました。
ツイートは削除された可能性があります
Googleの広報担当者は、ライブキャプションはまだ時期尚早であり、開発チームはまだ改善を続けていると繰り返した。これはどのプレリリース ソフトウェアにも当てはまりますが、Google が経験した問題に対処することは特に重要です。
すべてのオーディオが完全に鮮明でクリアなわけではありません。ぶつぶつ言ったり、なまりのある人もいます。騒がしい場所や多くの人が話している場所からビデオを共有します。これらの問題に対処するのがより難しいことは理解できますが、人々が実際に携帯電話を使用する方法をよりよく表しているため、修正することが重要です。このようなシナリオでライブ キャプションが確実に機能しない場合、その有用性は大幅に低下し、後回しになる危険性があります。
それでも、Google がライブキャプションを信頼できるものにすることができれば、ライブキャプションを最も必要とする人々に劇的な変化をもたらすでしょう。彼らが正しく理解してくれることを祈りましょう。