最初は会話が止まっていました。スペイン南部のマリアが話し始めると、彼女が何を言っているのか理解できなかったにもかかわらず、私は反射的に答えていました。私たちのリアルタイム翻訳された会話は、一時停止して Microsoft Skype Translator Preview に作業を任せることを覚えるまで、しばらくこのように続きました。
そしてそれはうまくいきます。
昨年6月に南部で開催されたコードカンファレンスでサプライズ発表されてから4か月後、マイクロソフトのSkype Translator Preview をダウンロードすると、スペイン語と英語のリアルタイムの会話翻訳を実行できるようになります。前回 Skype Translator を見たとき、Microsoft コーポレート VP の Gurdeep Singh Pall は、ドイツ語を英語に、英語をドイツ語に翻訳する方法を示しましたが、それはまだそのレパートリーの一部ではありません。
シン氏は「我々は、得られる品質のレベルについて非常に規律を保つよう努めている」と話し、「ドイツは僅差であったが、パフォーマンスの基準には達しなかった」と付け加えた。
ドイツ語は（ドイツ人でない場合には）難しい言語です。動詞は文の最後に来るため、翻訳ソフトウェアは文全体が読み上げられるまで待たなければなりません。ただし、この選択には別の理由がある可能性があります。スペイン語が第一言語です約4億2,500万ドイツ人と比較して、世界中の人々約1億人々は話します。
いずれにせよ、私はスペイン語の少なくとも合格レベルの知識 (学校で 7 年間) を持っており、テスト実行中に役立つだろうと考えたので、この切り替えは満足でした。私は間違っていた。
はじめる
本日より、新しい Skype Translator プレビューをダウンロードできるようになりますが、実際には招待なしでは使用できません。基本的に Microsoft または Skype ID が認証されている必要があります。昨年の春にこの製品を発表してから最初の 2 週間以内に、Microsoft は 50,000 人以上のユーザーに登録しました。現在、さらに多くの招待者がおり、同社は招待者が限られた数の他のユーザーを招待できるプログラムを検討しています。
Skype Translator Preview は、Windows 8 および 8.1、および Windows 10 プレビュー (最終的には Windows 10) で動作します。翻訳サービスを機能させるには、通話参加者の 1 人 (通話の開始者) のみが Skype Translator を持っている必要があります。また、このサービスは英語とスペイン語で開始されていますが、リアルタイム チャット (テキスト) 翻訳は、オランダ語、エストニア語、ドイツ語、ヒンディー語、ヘブライ語、日本語、韓国語、クリンゴン語を含む 40 の異なる言語で利用できます (はい、クリンゴン人）。
Skype Translator は 40 の異なるテキスト言語オプションをサポートしています。 クレジット: マイクロソフト
Microsoft は私のアカウントをオンにして、Skype Translator Preview クライアントのダウンロードを支援してくれました。このクライアントは、標準の Skype クライアントと見た目も動作もほとんど同じですが、言語固有の追加がいくつかあります。 Surface Pro 3 にクライアントをインストールすると、Microsoft Skype Translator が翻訳音声として「ジェーン」と「ボブ」のどちらを使用するかを尋ねてきました。言い換えれば、マリアが Skype 通話の向こう側で聞くスペイン語の音声です。いつでも設定に戻って、反対の性別の声を選択できました。
マイクロソフトは、コンピューターで生成した男性と女性の声を採用しました。マイクロソフト リサーチのコーポレート バイスプレジデントであるピーター リー氏は、それを「心地よい響き」で、私に言わせれば少しロボット的だと評しました。一瞬、女性の声を使おうかと考えましたが、それはマリアにとって混乱を招くかもしれないことに気づきました。
マリアに連絡リクエストを送りました。一度彼女は受け入れました。私はメニューを使用して彼女の書き言葉と話し言葉（両方ともスペイン語）を設定し、通話を開始しました。これはベータ ソフトウェアであるため、有線接続であってもマリアのビデオを表示することはできませんでした。その後の通話ではなんとかビデオを動作させることができました（ただし、その過程で翻訳トランスクリプトの表示が失われてしまいました）。
スペイン語の相手であるマリアとつながります。画面の左下部分にある Skype Translator の設定に注目してください。 クレジット: スクリーンショット
マリア (言語学の専門家で、システムのテストを行っており、事実上、マイクロソフトのトレーニングを手伝っていた) が私に挨拶してくれたとき、私は自分が単音節の発話を使用していることに気づきました。私たちの会話のリアルタイムの画面上の記録には、すべてが記録されていました。私の「こんにちは」は翻訳されてマリアには「オラ」として話され、彼女の「オラ」は私には「こんにちは」として翻訳されました。マリアがスペイン語を話しているのと、私の言葉の音声翻訳も聞こえました。最初は、なんだか圧倒されました。
会話を明確にするため、そして Skype Translator の機能に実際に挑戦するために、速度を落としてもっと本質的なことを言う必要があることに気づきました。私が理解したところによると、リアルタイムの双方向翻訳を実現するには多大な努力が必要でした。
Lee 氏によると、翻訳サービスを推進するコンポーネントは複数あります。それは、単語を解釈するだけでなく、意味を理解しようとする自動音声認識 (ASR) から始まります。 「自分の言っている言葉をすべて理解するだけでは十分ではありません。言葉について少し理解する必要があります」とリー氏は言う。
Microsoft Research は、Microsoft Skype Translator Preview をテストする中で、会話の本質とそれが実際にどのように機能するかを学びました。 「人々は部分的な文章で話したり、お互いの話を遮ったりすることがよくあります。それらの発話の意味の単位は何ですか?」彼らは、Skype 翻訳者がコミュニケーションのリズムとイントネーションを理解する必要があることに気づきました。
誰かの発言の意味をさらに解明するために、Skype Translator は機械学習を適用して文法を解釈し、統計的マッチングを使用して単語の実際の意味を見つけます。機械学習は、「翻訳されたテキストの非常に多くの例によって推進されます」とリー氏は私に語った。私たちはパターンや相関関係を見つけるために、何百万もの翻訳されたテキストを処理しています。慣用的な表現などを捉えることができます。」
プロセスの最後のステップは、当然のことながら音声合成です (ボブとジェーンが登場するのはここです)。そこでの目標は、意味を正確に表現することです。 「私たちは、聞いて心地よく、意味が適切に伝わる形で発表したいと考えています。質問なら質問のように聞こえるはずだ」とリー氏は語った。
会話
マリアと私はお互いを知り始めました。私は彼女に、スペインのどの地域に住んでいるのか、そして海の近くにあるかどうかを尋ねました。彼女は、セビリアの家に行くには、ビーチから半島に沿って車で 1 時間行かなければならないと言いました。
この種の翻訳された会話では、長い文のほうが確実に効果的であることに気づきました。そのため、私は彼女が私の翻訳した文章をすべて聞くのを待たなければならず、気づけば私もトランスクリプトの翻訳を読んでいました。私は一言返事を避けるように最善を尽くしました。
私は言語学の専門家としてマリアに、「他の Microsoft 翻訳関連プロジェクトにも取り組んでいますか、それとも Skype Translator だけですか?」と尋ねました。 Skype 翻訳者は「あなたは」を「議論」に変換しましたが、マリアはそれでも私の言いたいことを理解してくれました。
彼女は「プロジェクトに対する解決策はありません」と答えました。その反応が聞こえたので、そして長年のスペイン語の経験から、「ソラメンテ」が「のみ」を意味することはわかっていましたが、Skype 翻訳者は「このプロジェクトだけではありません」というあいまいな返答をしました。
それ以来、私はもう少しゆっくりと、よりはっきりと話すように努めました。ぎこちなく感じたり、ぎこちなく聞こえたりすることはありませんでした。ただ、より慎重に話しただけです。それは...とても役に立ったようです。
会話を続けるうちに、ますます感動してきました。 「えー」や「うーん」などの口頭での聞き間違いの多くが、話し言葉や書き言葉の翻訳から抜け落ちていることにさえ気づきました。 Lee 氏は、Skype Translator はこれらの機能やその他の機能の多くを自動的に削除すると説明しました。対面での会話では、人々は話し、笑い、そして継続する、と彼は言いました。彼は、私が会話の中で「えー」と言うことが多いことに気づきました。これらはすべて、翻訳者の会話では翻訳できない可能性があります。その場で呪いを除去できる冒涜フィルターも組み込まれています (テスト中は「厳密」に設定されていました)。マリアとの二度目の電話で、私は一言で「くそー」と「地獄」を使いました。 Skype Translator はまったく問題を解決しましたが、より古典的な「地獄」は残りました。
「現時点では、Skype 翻訳機能を使用して、これらすべてを取り除くために非常に努力していることがわかります。つまり、要点まで非常にきれいな英語が聞こえます。」と Lee 氏は言いました。
それが私たちが望んでいることですか?
磨きたての会話といえば聞こえは良いかもしれませんが、それはまだ会話なのでしょうか？リー氏は、こうしたチックや冒涜的な言葉さえ取り除くと、いくつかの「壮大な哲学的問題」が生じることに同意する。 Microsoft 社外の人々が Skype Translator を使い始めるまで、Microsoft Research が実際に答えることができない質問。
Skype Translator を使用すると、会話の記録を HTML ファイルに保存でき、後で Web ブラウザで開くことができます。 クレジット: スクリーンショット
「データが増えれば増えるほど、データはより良くなります」とガーディープ・シン氏は言います。 Skype Translator Preview はニューラル ネットワークに基づいているため、ある言語の経験から得た知識を別の言語に適用できます。たとえば、スペイン語の発言と質問の違いは口調の違いであることを理解するのに役立ちます。 「十分なトレーニングがあれば、ディープラーニングは人間が検出できるパターンの検出に非常に優れています」とシン氏は言います。
興味とイディオム
私はしばらくマリアにランダムな質問をしていましたが、今度は彼女が私に何か質問があるかどうか知りたいと思いました。彼女は私のロボット工学への興味に注目しましたが、翻訳するとロボット工学への興味として出てきました。彼女は、「あなたはロボット工学に興味がありますか？」という質問を短くして繰り返しました。私は「はい」（Si）と答え、さらに話を広げて、私はロボットが大好きで、10 年以上ロボットについて取材し、執筆してきたことを彼女に伝えました。彼女の返答は翻訳されました。「長い間、そのことに専念してきました。」
ロボティクスと Skype Translator が使用する機械学習との明確な関係について少しお話しました。マリアは、システム インテリジェンスが成長していると私に言いました。彼女は、あなたの話し方やアクセントから学習するだろうと言いました。彼女の経験によると、Skype 翻訳者は最初、アクセントに苦労しました。 「私は南部のアクセントを持っていて、それは標準的なスペインのアクセントとは少し異なりますが、日が経つにつれてすぐに、それが私のアクセントである南部のアクセントの理解を向上させることができることがわかりました」と彼女は翻訳を通して言いましたソフトウェア。
私は、Skype 翻訳プレビューのパフォーマンスを確認するために、慣用的な表現をいくつか投げても構わないかと彼女に尋ねました。 「わかりました、完璧です」と彼女は答えました。
「数日前、猫と犬の雨が降っていました」と私は言いました。マリアはスペイン語で言い返せるか尋ねました。 「Está lloviendo a cántaros」と彼女は言ったが、Skype翻訳者はそれを「猫と犬の雨が降っている」と翻訳した。
「スペインの雨は主に平地に降ります」も試してみましたが、翻訳者はこれに苦戦しました。最初に「平原」が「植物」として出てきて、次に「飛行機」が出てきて、マリアは「それは大変なことになるよ」と答えました。
最後に、お互いに同時にテキストを読み上げてみました。ざっと読んだので翻訳は少々混乱していましたが、システムにもっと多くの時間を費やしてきたマリアのテキストの方がずっと意味が分かりました。興味深い演習でしたが、ほとんどの人がお互いに話し合うとは思えません。実際、ピーター・リーは、人々は会話中にお互いの話を遮断する可能性が高いことがわかったと私に言いました。
Microsoft Skype Translator のプレビューは完璧とは程遠いですが、信じられないほど印象的でもあります。翻訳は可能な限り瞬時に行われ、少なくとも 90% 正確であると思われます。慣れてしまえば会話には支障はありませんでした。実際、それは私が地球の裏側にいる誰かと本当につながるのに役立ちました。
非常に興味深いことですが、Skype Translator のロードマップはまだ不明です。ガーディープ・シン氏は「現時点では、我々は慎重にカードを握っている」と語った。 Microsoft は他の言語にも取り組んでおり、今後数か月で Skype Translator が学習した内容に基づいて改善される予定です。
シングさんは次にどの言語が登場するのか教えてくれませんでしたが、リーさんは見てみたい言語を教えてくれました。でも個人的な理由で韓国語が好きです」と両親が韓国出身のリーさんは語った。アメリカで育った彼は、同化するために懸命に努力した。 「見た目が十分に変わっていたので、違うように思われたくなかった」とリーは私に語った。しかし今は、「韓国に親戚がいるのですが、一度も会話をすることができませんでした。」
いつか Skype 翻訳者を使えば、リーさんは遠い親戚とそのような会話をすることができるかもしれませんが、その前に彼は自分の赤ちゃんを世界に解放しなければなりません。
「このようなことを解き放つのは、何が起こるかわからないので恐ろしいことですが、私たちはそれについて本当に気分が良いです」とリーは言いました。