ChatGPTの音声モードにはセキュリティ上の欠陥がいくつかあるが、OpenAIはそれを克服していると述べている。
木曜日にOpenAIは、報告GPT-4o の安全機能について説明し、モデルの使用時に発生する既知の問題に対処します。 GPT-4o は、ChatGPT の最新バージョンを強化する基礎モデルであり、音声モードが付属しています。最近リリースされたChatGPT Plus サブスクリプションを持つ選択されたユーザー グループに。
関連項目:
特定された「安全性の課題」には、エロティックで暴力的な反応をモデルに促すなどの標準的なリスク、その他の許可されていないコンテンツ、「根拠のない推論」や「敏感な特性の帰属」、つまり差別的または偏見のある仮定が含まれます。 OpenAIは、これらのカテゴリでフラグが立てられた出力をブロックするようにモデルをトレーニングしたと述べている。しかし報告書はまた、緩和策にはエロティックなうめき声、暴力的な叫び声、銃声などの「非言語的な発声やその他の音響効果」は含まれないとも述べている。したがって、特定の敏感な非言語音を含むプロンプトは、不適切に応答を受け取る可能性があると推測できます。
OpenAI はまた、モデルとの音声コミュニケーションに伴う特有の課題についても言及しました。レッドチームは、GPT-4o が誰かになりすましたり、ユーザーの声を誤ってエミュレートしたりする可能性があることを発見しました。これに対処するために、OpenAI は事前に承認された音声のみを許可します (マイナス悪名高いスカーレット・ヨハンソンのような声）。 GPT-4o は話者の声以外の他の声も識別できますが、これはプライバシーと監視の重大な問題を引き起こします。しかし、モデルが有名な引用に基づいてプロンプトを出されていない限り、それらのリクエストを拒否するように訓練されています。
マッシュ可能な光の速度
レッドチームは、GPT-4o が説得力を持って、あるいは強調して話すように促される可能性があり、この機能は誤った情報や陰謀論に関してはテキスト出力よりも有害である可能性があるとも指摘した。
特に、OpenAI は、潜在的な著作権問題にも対処しました。会社を悩ませたそしてウェブから収集したデータに基づいてトレーニングする生成 AI の全体的な開発です。 GPT-4o は、著作権で保護されたコンテンツのリクエストを拒否するように訓練されており、音楽を含む出力をブロックする追加のフィルターを備えています。その点で、ChatGPT の音声モードは、いかなる状況でも歌わないように指示されています。
この長い文書で取り上げられている OpenAI の数多くのリスク軽減策は、音声モードがリリースされる前に実行されました。つまり、レポートの強烈なメッセージは、GPT-4o は特定の危険な動作を行うことができるが、それを行うことはしないと言っているのです。
ただし、OpenAI は、「これらの評価はこれらのモデルの臨床知識のみを測定し、現実世界のワークフローでの有用性を測定するものではありません」と述べています。したがって、管理された環境でテストされていますが、一般の人々が GPT-4o を手に入れると、野生の状態では別の猛獣になる可能性があります。
Mashable は、これらの緩和策についてさらに明確にするために OpenAI に連絡を取りました。返答があれば更新します。