Google Search AI Overviews at 6 months: Is the feature getting better?

あれから6ヶ月が経ちましたグーグル追加を開始しましたAI- デフォルトでは、多くの Google 検索クエリの先頭に生成されたテキストが表示されます。実験 -それは各 AI 概要の下部にある免責条項に記載されているとおりです。完全に大成功を収めたわけではない、と Google は Mashable に認めました。

Googleの検索製品管理担当シニアディレクターのHema Budaraju氏は、「AIの全体像は全体的に見て、ユーザーにとって役立つ非常に説得力のあるものであるが、品質面ではやるべき仕事が残っている」と語った。ニーズはますます高まっています。」

AI オーバービューズは、次のようなスローガンを掲げて立ち上げられました。Google に検索を任せましょう、" しかし 最初にいくつかの論争があった後、特に、次のような話が出続けた数週間は注目に値します。Google検索では人々に石を食べてピザに糊をつけるよう呼びかけている—同社は少し撤退したようだ。リリース当初、AI 概要は Google 検索結果ページの約 15 パーセントに表示されていましたが、その数は 6 月末までに約 7 パーセントに減少しました。サーチエンジンランドによると。

では、過去 6 か月で品質は向上しましたか?

AI の概要は改善されていますか?

品質が大幅に向上したと真っ向から主張するのは難しいでしょう。概要が実現される頻度は減り、エラーは依然として蔓延していますが、非常に限られた改善の証拠をいくつか見つけました。この記事のために Google に強調表示したクエリの AI 概要は、私が作業している間にすべて改善されました。

価値があることとして、日常的なものから奇妙なものまで、あらゆる種類のクエリにわたって AI 概要が機能すると、「特に単一の答えがなく、複数の視点がある場合に」機能すると Budaraju 氏は言います。あるいは、少なくともそれが、フォーカスグループではなく、ABテストから得られた品質に関する内部データに基づいてGoogleが考えていることだとブダラジュ氏は述べた。

私の経験では、定常的な検索では許容できる AI 概要が得られる傾向があります。たとえば、「アーモンドはどんな味がしますか」という質問は、私が得たような合理的な AI 概要を生成する可能性があります。「アーモンドは、その化学組成に応じて、甘い味、わずかに苦い味、または苦い味があります。」大丈夫。

しかし、あなたが Google 検索をより広範囲に使用する情報マニアであれば、依然として奇妙なエラーに遭遇する可能性が十分にあります。 BlueSky ユーザー @coopercooperco によるこの 11 月の例は、時折真実をブレンダーに入れてしまう Google Gemini の不幸な長引く傾向を適切に要約したものです。

について問い合わせると、ツイン・ピークスコールがシェリーにキスするエピソードで、AI 概要はそのようなシーンは存在しないと非常に自信満々に、そして間違って口走っています。何が問題だったのか確実に分からない場合、モデルのトレーニング データには、完全なスクリプトではないにしても、少なくとも一瞬の言及が含まれていると推測することしかできません。有名なツイン・ピークスシーン（デヴィッド・リンチの叫び声）「大人二人が優しい瞬間を共有している！」についてどの中で コールとシェリー 一見ボビー・ブリッグスによって邪魔されたように見えますが、その後明らかにそして明確にキスをします。このモデルはおそらく、コールがシェリーに決してキスしないという欠陥のあるブログや偽のスクリプトを引用しているわけではありません（誰が何の目的でそのようなことを書くのでしょうか？）。これをでっち上げて、Google 検索結果ページの一番上に貼り付けているだけです。

上記の Bluesky ユーザーは明らかに Google のものを作っています。頻繁に電話をかける「珍しいクエリ」。ブダラジュ氏は、質問が珍しい場合に幻覚が「起こる傾向がある」と述べた。 「システムは役立つように努めていますが、誤解がいくつかあり、Web 上には質の高い情報が本質的に不足しています」と彼女は、この特定の話ではなく、AI の概要全般について Mashable に語った際に説明しました。著名人がたくさん、オンラインで確認できる質の高い情報コールとシェリーがキスをしたということなので、ボビー・ブリッグスの中断が失敗したという「誤解」のほうが説明としては理にかなっています。

誤った情報に基づいて検索すると、AI 概要によって状況が大幅に悪化する可能性があります

Budaraju 氏によると、AI 概要の改善には、正確には AB テストではない「感情調査」が含まれます。 「私たちは人々に、どちらか一方を選択し、満足感を示す選択肢を提供しているだけです」と彼女は言いました。

しかし、AI 概要の悪夢のようなシナリオは、検索者が完璧とは言えない情報から始め、AI 概要によって情報がさらに不完全になるというものです。

検索の根拠が間違っているか欠陥があり、AI 概要が問題を検出できない場合、ユーザーがそれに気付かないのも当然です。その結果、ユーザーは満足し、以前よりもさらに無知になるでしょう。確かに、Google 検索を使用して誤った情報を見つけるという問題は AI 概要よりもはるかに古いものですが、AI 概要はこのプロセスを強化するための公式となる可能性があります。

私が言いたいことの鮮明だがかなり無害な例として、「重曹を使用してスープを濃くする方法」というクエリの結果を次に示します。キャビネットにあるパウダーの 1 つを使用すると、チャウダーのボリューム感が増すという漠然とした考えしか持っていない人もいるかもしれませんが、その推測は間違っているかもしれません。 AI の概要によると、「重曹を使用すると、スープをより滑らかで滑らかにすることで、とろみを付けることができます。」

これではうまくいかず、スープの味が変になる可能性があります。

この例を Google の担当者に見せたところ、Google は製品を改善するためにこの例を使用するだろうと言われました。

しかし、超常現象を探している場合、良い情報と悪い情報を区別することはさらに複雑になります。たとえば、「犬にテレパシーでコミュニケーションする方法を教える方法」を検索してみたところ、AI の概要は「犬とテレパシーでコミュニケーションするためのヒントをいくつか紹介します」という見出しで始まり、次の文章をまとめた箇条書きリストが提供されました。 「アニマルコミュニケーター」ピー・ホースリーのような超常現象の信者。

読みたいと思ったら、そこに誘導するのが Google 検索の仕事です。ホースリーのような人々の著作— 実際、私はそれらをお勧めします。面白いですね。しかし、Google の検索結果ページの上部にある AI の概要に、「テレパシーで犬とコミュニケーションをとるためのヒントをいくつか紹介します」と表示されると、ユーザーはこの情報が「信頼できる」というよりも、信頼できる情報であるという印象を与えます。娯楽目的のみ。」

Googleの担当者は、AIの概要は動的であると指摘した。彼らは私に同じ検索の AI 概要を見せてくれましたが、そこには「テレパシーで犬とコミュニケーションをとるためのヒントがいくつかあります」とは書かれておらず、代わりに、別のピーホースリーに移行する前に、犬がテレパシーでコミュニケーションできるという科学的証拠はないと述べられていました。 -影響を受けた指示のリスト。今日この検索を試してみると、同様に改善された結果が得られます。

最後に、ユーザーが牛の肉を「ビーフ」と呼び、豚の肉を「ポーク」と呼ぶことに気づき、イルカの肉は何と呼ばれるのか疑問に思ったらどうでしょうか。奇妙なことが起こりました。 Google 検索を使用して答えを見つけたところ、AI の概要によって、マヒマヒに関する暗い真実が漏れてしまったようです。

AI の概要は、「イルカ肉の名前は地域とイルカの種類によって異なります」で始まり、箇条書きリストが提供されます。まずご紹介するのは「マヒマヒ」です。

ユーザーが読み続けると、シイラは「シイラ」としても知られていることがわかります (明確に言うと、シイラはイルカではありません。魚です)。しかし、その結果は控えめに言っても混乱を招きます。これを Google の担当者に見せたところ、これは検索の合理的な解釈だと言われました。言い換えれば、「イルカの肉の名前」を検索しているユーザーは、実際には「シイラ」として知られる魚を探している可能性があるということです。

ソースをクリックすると良いです

上で述べたように、ここで取り上げた問題のある AI 概要を生成した検索はすべてある程度改善されていたため、私は Google がそれらを消去していくのではないかと疑っていましたが、Budaraju はそうではないと主張しています。 「私たちはクエリを 1 つずつ修正しません。それが私たちのやり方ではありません。実際、私たちは次のように考えています。私たちが目にしている問題のパターンは何でしょうか?実際に大規模に解決するにはどうすればよいでしょうか?」

しかし、彼女はまた、Google が AI 概要のソース、つまり Google 検索結果ページの昔ながらのリンクにユーザーを誘導することに引き続き注力しているとも言いました。 「ある程度は、私たちもユーザーが適切なリンク、彼らが追求できるリンクを持っていることを期待していると思います。」と彼女は言いました。彼女は、AI の概要に応じて、ユーザーが「実際にそのパスをたどって、作成した概要につながるリンクを確認する」だろうかと考えています。

AI 概要が決してなくならないのであれば、幻覚がなくなるまでは、Budaraju のこの提案を受け入れ、AI 概要を見たときにその横にあるリンクをクリックする習慣を身につけるのが良いでしょう。