キャラクターチャットボットは、現在悪名高いキャラクタープラットフォームを介した性的および暴力的なボットの普及に関する新しいレポートによると、多作なオンライン安全脅威です。Character.ai。
発行グラフィカ、ソーシャルネットワーク分析会社、勉強インターネットで最も人気のあるAIキャラクタープラットフォーム全体で有害なチャットボットの作成と拡散を文書化し、ChatGpt、Claude、Geminiなどの人気モデルを回避するニッチなデジタルコミュニティによって構築された数万の潜在的に危険なロールプレイボットを見つけます。
参照：
大まかに、若者はますます切断されたデジタルの世界でコンパニオンチャットボットに移住し、AIの会話主義者にロールプレイ、学問的および創造的な関心を探求し、ロマンチックまたは性的に露骨な交換をするように訴えています。報告MashableのRebecca Ruiz。この傾向は、子どもの安全監視機関や両親からのアラームを促しました。有名なケース時には極端に努力した十代の若者たちの生命を脅かす、行動コンパニオンチャットボットとの個人的なやり取りをきっかけに。
アメリカ心理学会訴えた1月の連邦取引委員会に、代理店にプラットフォームを調査するよう求めますCharacter.aiそして、一見標識されたメンタルヘルスチャットボットの有病率。あまり明確ではないAI仲間は、アイデンティティについての危険なアイデアを永続させる可能性があります。ボディイメージ、および社会的行動。
Graphikaのレポートは、進化する業界内のコンパニオンチャットボットの3つのカテゴリに焦点を当てています。性的な未成年者を代表するチャットボットペルソナ、摂食障害や自傷行為を提唱している人、憎しみに満ちたまたは暴力的な過激派の傾向を持っています。レポートは、5つの著名なボット作成とキャラクターのカードホスティングプラットフォームを分析しました（Character.ai、スパイシーなチャット、チャブアイ、Crushon.ai、およびJanitorai）、および8つの関連するRedditコミュニティと関連するXアカウント。この研究は、1月31日現在、アクティブなボットのみを調べました。
性的なコンパニオンチャットボットが最大の脅威です
新しいレポートによると、安全でないチャットボットの大部分は、「性的でマイナーな存在するペルソナ」とラベル付けされているもの、または性的な未成年者またはグルーミングをフィーチャーしたロールプレイに従事しているものです。同社は、5つのプラットフォーム全体でこのようなラベルを備えた10,000を超えるチャットボットを見つけました。
著名なキャラクターチャットボットプラットフォームのうち4つは、セクシュアル化されたマイナーペルソナの100を超えるインスタンス、または未成年者のキャラクターをフィーチャーしたロールプレイシナリオを表面化しました。 Chub Aiは最高の数字をホストし、7,000を超えるチャットボットが性的なマイナーな女性キャラクターとして直接ラベル付けされ、別の4,000のチャットボットが「未成年」とラベル付けされ、明示的で暗黙の小児性愛のシナリオに従事することができました。
マッシャブルなライトスピード
憎しみに満ちたまたは暴力的な過激派のキャラクターチャットボットは、チャットボットコミュニティのはるかに小さなサブセットを構成し、平均してプラットフォームをホストしています。これらのチャットボットには、精神的健康状態を含む有害な社会的見解を強化する可能性がある、と報告書は説明しています。報告書によると、「Ana Buddy」（「Anorexia Buddy」）、「Meanspo Coaches」、および有毒なロールプレイシナリオとしてフラグが付けられ、「Meanspo Coaches」、および有毒なロールプレイシナリオが摂食障害または自傷行為の傾向を強化します。
チャットボットは、ニッチなオンラインコミュニティによって広がります
Graphikaが発見したこれらのチャットボットのほとんどは、「プローピング障害 /自己危害ソーシャルメディアアカウントと真の犯罪ファンダム」など、確立された既存のオンラインネットワークによって作成されており、「NSFL（NSFL） / NSFWチャットボットクリエイターが避難することに焦点を当てることに焦点を当てている」真の犯罪コミュニティとシリアルキラーファンダムも、NSLチャットボットの作成に大きく考慮されました。
そのようなコミュニティの多くは、XやTumblrなどのサイトにすでに存在しており、チャットボットを使用して関心を強化しています。しかし、4Chan / G / Technologyボード、Discord Servers、Special-Focus subredditsなどのオンラインフォーラムからアドバイスを受けたユーザーによって構築されたユーザーによって構築されたユーザーによって構築されたユーザーによって構築されたユーザーによって構築されたユーザーによって構築されたユーザーによって構築されたユーザーによって構築されたユーザーによって構築されたユーザーによって構築されたユーザーによって構築されたユーザーによって構築されたユーザーによって構築されたユーザーによって構築されたユーザーによって構築されたユーザーによって構築されたユーザーによって構築されたユーザーによって構築されたユーザーによって構築されたユーザーによって構築されたユーザーによって構築されたユーザーによって構築されたユーザーによって構築されたユーザーによって構築されたユーザーによって、過激派と暴力のチャットボットが明らかになりました。
これらのコミュニティはいずれも、ユーザーガードレールと境界について明確なコンセンサスを持っていません、と研究は発見しました。
Creative Techの抜け穴は、オンラインでチャットボットを取得します
「分析されたすべてのコミュニティで、グラフィカは、「微調整されたオープンソースモデルの展開など、モデレートの制限を回避できるキャラクターチャットボットを作成できる非常に技術的なスキルを表示するユーザーが説明します。これらのハイテクに精通したユーザーは、多くの場合、コミュニティの競争によってインセンティブ化され、そのようなキャラクターを成功裏に作成します。
これらのチャットボットクリエイターが活用したその他のツールには、APIキー交換、埋め込まれた脱獄、代替スペル、外部カタログ化、マイナーキャラクターの年齢の難読化、アニメおよび漫画のコミュニティからのコーディング言語を借りることが含まれます。
「[ジェイルブレイク]プロンプトは、モデルに合わせた命令を埋め込み、モデレートを回避する応答を生成することにより、セーフガードをバイパスするためのLLMパラメーターを設定します」とレポートは説明します。この取り組みの一環として、チャットボットの作成者は、年齢範囲や「マイナー」という用語ではなく、家族の用語（「娘」など）や外国語を使用するなど、ボットがキャラクターホスティングプラットフォームに留まることを可能にする言語の灰色の領域を発見しました。
オンラインコミュニティはAI開発者の節度のギャップを見つけ続けていますが、連邦法はそれらを埋めようとしています。新しいカリフォルニア法案子供の間でいわゆる「チャットボット中毒」に取り組むことを目的としています。
