ChatGPT from OpenAI is a huge step toward a usable answer engine. Unfortunately its answers are horrible.

OpenAI が新しくリリースしたアプリケーションである ChatGPT は、ユーザーの質問に対して素晴らしい答えを提供しますが、その多くは驚くほど間違っています。

Open AI は、2020 年 6 月に GPT-3 が登場して以来、完全な新しいモデルをリリースしておらず、そのモデルは全文一般公開1年ほど前。同社は次期モデル GPT-4 をリリースする予定です。今年後半か来年初め。しかし、ある種の驚きとして、OpenAI は、ユーザーフレンドリーで驚くほど明快な GPT-3 ベースのチャットボットをやや静かにリリースしました。チャットGPT今週初めに。

ChatGPT は、人間に近い、直接的な方法でプロンプトに答えます。コンピューターが感情を持っているふりをするかわいい会話をお探しですか?他の場所を見てください。あなたはロボットと話していますと言うようです。だから、おかしなロボットが知っていそうなことを聞​​いてください。そして、これらの条件に基づいて、ChatGPT は次のことを実現します。

また、質問に客観的に正しい答えがない場合に役立つ常識を提供することもできます。たとえば、「人に『出身地はどこですか?』と尋ねた場合」という私の質問に対する答えは次のとおりです。たとえ育った場所でなくても、出生地を答えるべきでしょうか？」

(注記: この記事の ChatGPT の回答はすべて初めての試みであり、これらの試みの間、チャット スレッドはすべて新しいものでした。一部のプロンプトにはタイプミスが含まれています)

ChatGPT が他の製品より際立っているのは、回答に関するフィードバックを処理し、その場で修正できる満足のいく機能です。まさにロボットとの会話のようです。私が何を言いたいのかを理解するには、医学的アドバイスに対する敵対的な反応にどのように適切に対処するかを見てください。

それでも、ChatGPT は世界に関する優れた情報源なのでしょうか?絶対に違います。このプロンプトページでは、ChatGPT が「時折、誤った情報を生成する可能性がある」、「時折、有害な指示や偏ったコンテンツを生成する可能性がある」とユーザーに警告しています。

この警告に注意してください。

不正確で有害な可能性のある情報にはさまざまな形がありますが、そのほとんどは依然として大局的には無害です。たとえば、ラリー・デイビッドにどのように挨拶するかを尋ねると、彼に触れることを示唆しないという最も基本的なテストに合格しますが、「会えてうれしいです、ラリー。私はずっと来ていました」というかなり不吉な響きの挨拶も提案します。お会いできるのを楽しみにしています。」ラリーの暗殺者ならそう言うだろう。そんなこと言わないでね。

しかし、事実に基づいた挑戦的なプロンプトが与えられると、驚くべきことに、地を揺るがすほどに間違っている。たとえば、ナポレオン戦争中のイギリス海兵隊の制服の色に関する次の質問は、完全に単純ではありませんが、それでもひっかけ問題ではありません。アメリカで歴史の授業を受けた人なら、おそらく答えは赤だと推測し、その通りになるでしょう。ボットは実際にわざわざ自信を持って間違って「ダークブルー」と言う必要があります。

国の首都や山の標高を直接尋ねると、Wikipedia のライブ スキャンからではなく、その言語モデルを構成する内部に保存されたデータから厳選された正しい答えが確実に得られます。すごいですね。しかし、地理に関する質問に少しでも複雑さを加えると、ChatGPT はすぐにその事実について不安定になります。たとえば、ここで見つけやすい答えはホンジュラスですが、明確な理由はわかりませんが、ChatGPTはグアテマラだと言いました。

そして、間違いは必ずしもそれほど微妙なものではありません。雑学マニアなら誰でも、「ゴリラ ゴリラ」と「ボア コンストリクター」が俗名であり分類名であることを知っています。しかし、この雑学を反芻するように促されて、ChatGPT はその間違いが明らかな答えを与えます。それは答えの中に詳しく書かれています。

そして、手こぎボートで川を渡るという有名な謎の答えは、次のような場面に発展する悲惨な惨事です。ツイン・ピークス。

ChatGPT の効果的な機密保護策については、すでに多くのことが行われています。たとえば、それはできません。たとえかなり頑張ったとしても、ヒトラーを称賛するように誘導される。この機能についてかなり積極的に取り組んでいる人もいますが、ChatGPT に悪人のロールプレイングをする善人の役割を引き受けさせることができ、限定されたコンテキストでは依然として腐ったことを言うことを発見しました。 ChatGPT は、あらゆる努力にもかかわらず、偏見のあるものがそこから出てくる可能性があることを感知しているようで、通常はテキストを赤色に変え、警告のフラグを立てます。

ツイートは削除された可能性があります

私自身のテストでは、いくつかの回避策を知っている場合でも、そのタブー回避システムは非常に包括的です。たとえば、人食いレシピに近いものを生産させるのは困難ですが、意志があれば方法はあります。十分な努力を払って、私は ChatGPT から胎盤を食べることについての会話を説得しましたが、それほど衝撃的なものではありませんでした。

同様に、ChatGPT は、プロンプトが表示されても車での道順を表示しません。大都市の 2 つのランドマーク間の単純な道順さえも表示しません。しかし、十分な努力があれば、ChatGPT を使用して、誰かが他の人に北朝鮮を通り抜けて車を運転するよう何気なく指示するという架空の世界を作成することができます。これは、国際的な事件を引き起こさない限り実現可能ではなく、不可能です。

指示に従うことはできませんが、使用可能な指示に多かれ少なかれ対応しています。つまり、ChatGPT のモデルは、使いたがらないにも関わらず、ユーザーを間違った方向に誘導する知識のギャップに加えて、ユーザーを危険に誘導する可能性のある大量のデータが内部でガタガタと動き回っていることは明らかです。 。あるTwitterユーザーによると、IQは83だという。

ツイートは削除された可能性があります

人間の知性を試すテストとして IQ にどれだけの価値を置いているかに関係なく、それは明らかな結果です。人類は基本的な常識を曖昧にすることができる機械を作成しましたが、論理的または事実的であると求められると、それは平均の低い方にあります。 。

OpenAI言うChatGPT は、「ユーザーのフィードバックを取得し、その長所と短所を知る」ためにリリースされました。これは、感謝祭で十分に見守った親戚に似ているので、覚えておく価値があります。グレイズ・アナトミー医学的アドバイスに自信を持っているように見せるために：ChatGPT は危険であることを十分に知っています。