コンピューターは時間の移動方法を学ぶ

1世紀前、映画コメディアンチャーリー・チャップリン彼は映画のトリックを使って、自分にはほとんど不可思議なタイミングがあると視聴者に信じ込ませていた。彼の短編コメディでは、レンガが見えずに捕まえたり、ドアの向こう側にレンガが隠されているとは知らなかったにもかかわらず、ハンマーで頭を殴られたりするのを見逃した。

数十年後、歴史家が彼のトリックを発見しました。彼はいくつかのシーンを逆向きに撮影し、レンガを投げ上げて戸口を後ろ向きに歩き、その後シーンを逆方向に再生する、つまりマジックでした。実際のところ、私たちはビデオがいつ逆再生されているかを常に知ることができると思っていますが、実際はそうではありません。ただし、コンピューターとなると話は別かもしれません。マサチューセッツ工科大学 (MIT) の科学者たちは現在、人生の小さな物理的な動的キューを使用してビデオの順方向と逆方向の違いを区別するようにコンピューターに教えています。

思っているほど簡単ではありません

彼らは、リリースによれば、ビデオが順方向か逆方向かを平均して最大 80% の精度で検出できる新しいアルゴリズムを開発しました。研究者らは、今月下旬に開催されるコンピュータビジョンとパターン認識に関するIEEE会議で研究成果を発表する予定だ。

関連項目:

このアルゴリズムは、動きや方向の特徴と考えられるビデオ内の微妙な変化を検出しようとします。目標は、物理世界で起こると予想されることと、そうでないことを見て理解することです。

マサチューセッツ工科大学のコンピューターサイエンスおよびエンジニアリングの教授であるウィリアム・フリーマンは、この作業を視覚世界の構造を学習するものであると説明しました。 「形状認識を研究するには、写真を反転して黒をすべて白にし、白を黒にして、何がまだ見えるか、何が見えないかを確認するかもしれません。ここでは、時間を逆行させ、その変化を検出するために何が必要かを確認することで、同様のことを行っています。私たちは時間信号の性質を理解しようと努めています。」

MIT の科学者が開発した 3 つのアルゴリズムのうち、実際に効果を発揮したアルゴリズムは、ビデオの各フレームを数十万の正方形に分割し、各正方形を 4 × 4 のグリッドにスライスします。過度に単純化すると、アルゴリズムはフレームごとに (通常、ビデオは 1 秒あたり 24 フレームあります)、正方形から正方形へのピクセルの移動を監視します。

その動きは、ビデオ内の 4,000 ガードのサンプリングからアルゴリズムが学習した情報に基づいた、一種の動き辞書と比較されます。最終的に前進または後退の手がかりを提供するのは、これらのアクションまたは「辞書の単語」の組み合わせです。

研究では、まず 1 セットのビデオでアルゴリズムをトレーニングし、次にアルゴリズムに 3 番目のセットを分析させました。ビデオが順方向または逆方向に実行されているかどうかを最大 90% の確率で正確に検出できました。最低評価は74％だった。

フェイクをよりリアルに

これはどういう意味ですか？方向の検出は、コンピューターが現実世界がどのように機能するかを理解するのに役立つ可能性があります。彼らは偽のビデオを特定し、より現実的なモーションビデオゲーム、コンピューターアニメーション、特殊効果を作成できるプログラムの構築に役立つ可能性があります。

「視覚世界のダイナミクスを説明する統計モデルを学ぶことができれば、現実的な視覚ダイナミクスを合成しようとする際に役立つかもしれません。この研究はその方向への単なるステップであり、物事が後退する非現実的な視覚ダイナミクスを検出する方法を学びます」そのうちに」とフリーマン教授はMashableに語った。

それはまた、将来のチャーリー・チャップリンが聴衆をだますさらに良い方法を持っているかもしれないことを意味します。

それについて考えながら、物事が前進したり逆方向に進んだりするこのストックビデオを見てください。