最近、ユーザーは、AI が生成した商品レビューの要約が Amazon に大量に流入していることに気づきました。彼らは信頼できるでしょうか？
アマゾン製品には多くの場合、何百、何千もの製品が含まれています。レビューそして、このすべてのフィードバックを選別するのは面倒で時間がかかる場合があります。しかし、たとえばラップトップ スタンドを Amazon で購入する場合、多くの場合、品質が大幅に異なるサイト上の多くの選択肢を選別する必要があり、その作業量はありふれた日用品を購入するよりも車への投資に適しています。昨年8月、アマゾン発表された疲労をレビューするソリューション: AI が生成した、顧客の長所と短所を簡潔に強調する概要。
理論的には、この機能は消費者がどの製品を購入するかを迅速に決定するのに役立つ便利なツールです。しかし、これらの概要の出現は、生成 AI に依存することの落とし穴を強調しています。不正確そして誤解を招く情報。
Amazon で簡単に検索すると、いくつかの問題が見つかりました。 AI が生成したレビューの概要マンドゥカ GRP アダプト ホットヨガマット、競合ブランドによる別のヨガマットを指し、「Alo Warrior Yoga Mat」と呼ばれています。 Amazon は、Mashable からこの問題が指摘された後、この問題を解決しました。しかし、大規模な言語モデルの出力の個々の不正確さを修正することは、モグラたたきのようなものです。エンジニアですらモデルの動作を完全に理解しているわけではないからです。
AI が生成した概要では、マンドゥカ ヨガ マットを誤って「アロ ウォリアー ヨガ マット」と呼んでいますが、これは別の製品およびブランドです。 クレジット: アマゾン
そしてそこには、生成 AI に過度に依存することの問題が潜んでいます。 AI が自律的に動作するようにトレーニングすることは、モデルが意図しない、または不可解な方法で「行動」する可能性があることも意味します。
他のいくつかの小さな例では、Musher's Secret と呼ばれるものの AI レビューの要約では、その製品を漠然と「ペット用品」と呼び、「psa パッドを暖かく保つ」と述べています。犬の足を凍った歩道から守る軟膏なので、「PSA パッド」という言葉が私たちに知られていない限り、それはおそらく「肉球パッド」を意味しているのでしょう。 AI の常識の観点から言えば、モデルは実際のユーザーの特異性から、「肉球」の代わりに「PSA パッド」のようなものを書くことを「学習」しているように見えます。これにより、間違いなく AI の出力に一定の信頼性が与えられるでしょう。しかし、それはユーザーが望むべきことでしょうか?
Musher's Secret のレビュー概要では、この製品を「ペット用品」と呼び、おそらく「paw」の代わりに「psa」と書いています。 クレジット: アマゾン
TheraGun ミニ マッサージ ガンの場合、レビューの概要では「アプリ」という単語がすべて大文字で表記されており、「アプリがバッテリーとその持続時間に関する有益な情報を提供すると述べている」と書かれています。この要約は付属のアプリについて話していると考えるのが自然ですが、代わりに「APP」と呼ばれる技術的機能について言及していたらどうでしょうか?
マッシュ可能な光の速度
「アプリ」をすべて大文字で書くことは小さな問題ですが、顧客にとって混乱を招く可能性があります。 クレジット: アマゾン
確かに、これらは概要の本質に影響を及ぼさない軽微なエラーです。さらに、人間のレビューには常にタイプミスが含まれていますが、それが必ずしも信頼性を損なうわけではありません。しかしおそらく、人間以外の知性を持った人間にとっては、ハードルはもっと高くなければなりません。私たちの信頼を得ましたまだ。そのため、不正確さや意味不明な話は、即座に危険信号のように感じられます。
さらに悪いことに、不正確さや幻覚が見過ごされれば、多かれ少なかれ権威があるかのように提示されているこれらの概要が、製品の評判を傷つける可能性があります。あブルームバーグ 報告製品レビューの概要がレビューの否定的な側面を誇張しており、消費者に誤解を与えていることを発見しました。 AI が生成した Penn テニス ボールの 4.7 つ星評価の概要では、臭いがマイナスであることが強調されました。しかし、4,300件の評価のうち、「臭いについて言及しているのは7件だけ」だ。これは顧客に誤解を与えるだけでなく、販売者に問題を引き起こす可能性があります。
さらに、レビューでは臭いの種類は特定されていませんでしたが、新しいテニスボールのすべてがあの刺激的なゴムのような臭いを持っているわけではありません。楽しむ人もいます?テニスボールの匂いのようなものへの言及は、正当な苦情が含まれているというよりは、パッケージが開けにくいなどの不合理な理由で製品に不相応に否定的なレビューを与えるカレンスタイルのレビュー担当者の押し付けがましい声のように思えます。
このテクノロジーの使用により、AI が生成したレビューのハイライトに何を含めるべきで、何を含めるべきではないかという疑問も生じます。品質管理のため、また商品に AI が生成した詐欺的なレビューの概要が含まれていないことを確認するため、Amazon は認証済み購入レビューのみを使用し、「最小限のレビュー数」を持つ商品に焦点を当て、「顧客がレビューを共有する」状況にのみ焦点を当てています。同じ意見です」と広報担当者のマリア・ボスケッティ氏は語った。
現在、Amazon には書籍のレビューのハイライトがありませんが、これは良いことのように思えます。しかし、アドビル・イブプロフェンのような医薬品に関するレビューのハイライトはあり、潜在的な危険性のレベルまでには達していないかもしれないが、この機能の展開においてある種の注意が欠けていることを示唆している。 Amazonは、より多くのカテゴリーに拡大する予定であると述べているため、現時点では警戒する必要はないようだ。
欠陥のある例を見つけるのは難しくありませんでしたが、顧客はすでにこの機能が便利だと感じています。安価な三脚を探していた Mashable の従業員は、さまざまな製品レビューの概要を比較することで決定することができ、やや複雑な意見のある他のものと比較して、否定的なフィードバックのないものを選択することができました。
「私たちの分析によると、レビューのハイライトは顧客が欲しい商品を見つけるのに役立ち、販売者にとっては売上の増加につながっていることがわかりました」とボスケッティ氏は述べた。 「私たちは正確性を重視しており、今後もレビューのハイライト体験を継続的に改善していきます。」
正直に言うと、ほとんどの人は、簡単な要約で十分な場合でも、レビューを解析することに時間を費やすことはできませんし、それが正確である限りはしたくないのです。
では、これらのレビューの概要は信頼できるのでしょうか?もっと良い質問は次のとおりかもしれません。これらの要約は、以前のシステムよりもユーザーにとって便利ですか?この質問に対する答えは「信頼するが、テクノロジーの欠陥や弱点を理解することで検証する」ことである、と非常に慎重に主張する人もいるでしょう。