自殺予防に人生を捧げてきた多くの人にとって、ソーシャル メディアの投稿は、人々が自殺を図る前にどのような言動をするかについてのヒントが含まれる貴重なデータセットとなり得ます。
ここ数年、研究者どの単語や絵文字が自殺念慮に関連しているかを学習するアルゴリズムを構築しました。彼らはソーシャルメディアの投稿を使って過去を振り返ることさえした予測する特定のFacebookユーザーの自殺。
今では Facebook 自体が展開された自殺リスクの高まりを積極的に特定し、致命的な自傷行為を考えているユーザーに連絡するように訓練された人間の審査員チームに警告できる新しい人工知能。
Facebook が助けを必要としている人を検出した場合に表示されるものの例。 クレジット: フェイスブック
月曜日に発表されたこの技術は、自殺のリスクを理解し、予測するための比類のない機会をもたらします。この AI ツールが公に発表される前に、Facebook はユーザーの安全を確保するための 100 件の「健康チェック」で初期対応者を派遣するのにこのツールを使用しました。このツールが人命を救う可能性は非常に大きいが、同社はそれがどのように機能するか、また研究結果を学者や研究者と広く共有するかどうかについて多くの詳細を明らかにしていない。
このことは、この分野の一部の専門家を混乱させ、懸念させるに違いない。
ジョージア工科大学インタラクティブコンピューティング学部の助教授ムンムン・デ・チョードリー氏は、ソーシャルメディア会社が自殺予防に注力していることを称賛するが、フェイスブックにはそのアルゴリズムについてもっと透明性を持ってもらいたいと考えている。
「これは単なる AI ツールではありません。非常にデリケートな問題に取り組んでいます」と彼女は言いました。 「それは誰かの生死に関わる問題だ。」
「これは単なる AI ツールではありません。非常にデリケートな問題に取り組んでいます。これは誰かの生死に関わる問題です。」
Facebook はそのリスクを理解しているため、製品管理担当副社長のガイ ローゼン氏はインタビューで、AI が悩みを抱えているユーザーを特定し、リソースや支援を得るプロセスをいかに大幅に加速させるかを強調しました。
しかし同氏は、友人や家族からの心配するコメント、時刻、ユーザーの投稿のテキストなど、いくつかの一般的な例を超えて、アルゴリズムの要素について詳しく話すことを拒否した。ローゼン氏はまた、自殺予防団体と提携している同社は研究者から学びたいと考えているが、フェイスブックがAIの利用から得た洞察をどのように公開または共有するかについては言及しなかったと述べた。
「私たちはこの件についてはオープンにしたいと思っています」と彼は言った。
透明性はFacebookの強みではないかもしれないが、自殺予防のような分野では、自殺思考や自殺企図の前に現れる行動や言語パターンを明らかにすることで、他の専門家がより多くの命を救うことができる可能性がある。 20 億人以上のユーザーを抱える Facebook は、おそらくそのようなコンテンツの世界最大のデータベースを持っています。
De Choudhury 氏は、AI に関しては透明性が不可欠であると述べています。なぜなら、透明性は信頼をもたらすからです。テクノロジーが職業生活や私生活を根本的に破壊する可能性を人々が懸念する中、この信頼感は不足しています。デ・チョードリー氏によると、このツールに対する十分な信頼がなければ、危険にさらされているユーザーは、感情的に傷つきやすい投稿や自殺願望のある投稿を共有しないことを決める可能性があるという。
Mashable のトップ ストーリー
ユーザーが Facebook からメッセージを受け取ったとしても、AI がそのメッセージを高リスクであると識別したことを示すものではありません。代わりに、「誰かが今あなたに追加のサポートが必要かもしれないと考えて、私たちに助けを求めてきた」と言われます。ただし、その人物は、AI によるリスク検出を追跡調査した人間のレビュー担当者です。
また、誰かが差し迫った危険にさらされているとAIがどのように判断するのか、アルゴリズムの精度、あるいは自殺思考の手がかりを探す際にどのようにミスを犯すのかを知ることも現時点では不可能だ。ユーザーはAIによって報告されたことを知らないため、Facebookが誤って自殺願望があると判断したことをFacebookに伝える方法がない。
デ・チョードリー氏の研究には、ソーシャル メディアを分析して人々の精神的および感情的な健康に関する情報を収集することが含まれているため、効果的なアルゴリズムの開発と公開するデータの決定の両方の課題を理解しています。
彼女は、Facebook が微妙なバランスを取る必要があることを認めています。たとえば、調査結果の特定の側面を共有すると、ユーザーがキーワードやその他の苦痛の兆候に焦点を当て、自殺のリスクを過度に単純化する可能性があります。そして、悪意のある人々に、ソーシャルメディアの投稿を分析し、精神的健康上の問題があると思われる人々を特定し、嫌がらせや差別の対象にするために使用できるデータポイントを与える可能性があります。
「たとえ、すべての耐え難い詳細が明らかにされなかったとしても、アルゴリズムがどのように機能するかを共有することは、非常に有益だと思います。」
Facebook はまた、民間企業として、さまざまな期待やプレッシャーにも直面しています。同社は、公共利益のために開発された自殺予防AIツールの知的財産を考慮する可能性がある。マーケティング担当者や広告主へのサービスを強化するために、その知的財産の機能を利用したいと考えるかもしれません。結局のところ、ユーザーの感情状態を正確に特定することは、Facebook の市場競争力にとって非常に価値のあるものになる可能性があります。同社は以前、表現されたその能力を開発することに興味を持っています。
いずれにせよ、フェイスブックは人々の安全と会社の収益を損なうことなく、ソーシャルメディアを利用して自殺を理解する広範な取り組みに貢献できるとデ・チョードリー氏は主張する。
「たとえ、すべての耐え難い詳細が明らかにされなかったとしても、アルゴリズムがどのように機能するかを学術的に共有することは、非常に有益であると思います」と彼女は言います。「...現時点では、それは実際にはブラックボックスだからです。」
Facebook と提携して自殺予防リソースとサポートをユーザーに提供している Crisis Text Line は、人々の自殺リスクを判断するために AI を実際に使用しており、その結果を研究者や一般の人々と共有しています。
「Facebook がシステム内に保有しているデータの規模と人数を考えると、これは学者や研究者にとって自殺リスクを理解する上で非常に貴重なデータセットになる可能性があります」と、Crisis Text Line のチーフ データ サイエンティストであるボブ フィルビン氏は述べています。
フィルビン氏は月曜日までフェイスブックが自殺リスクを予測するAIを開発していることを知らなかったが、クライシス・テキスト・ラインは誇りに思うパートナーであり、自殺防止のために同社と協力することに熱心だと述べた。
Crisis Text Line は、テキストメッセージの送信者を「ホットからクール」に段階的にエスカレートさせるようにカウンセラーを訓練し、ファーストレスポンダーを最後の手段として使用します。 Facebook の人間の審査担当者は、ユーザーの投稿を検査することで AI によるリスクの検出を確認します。必要に応じてリソースを提供し、緊急サービスに連絡しますが、それ以上ユーザーに関与することはありません。
ツイートは削除された可能性があります
フィルビン氏は、FacebookのAIがCrisis Text Lineのデータに表れているものとは異なるシグナルを感知すると予想している。この電話に連絡する人は助けを求めているため、自殺願望や感情をより明確に伝えている可能性があります。
簡単な例の 1 つは、自殺のリスクが高いメール送信者が、カウンセラーと話す「必要がある」と言う方法です。 「欲しい」と比較したその緊急性は、同社の AI がリスクを判断するために使用する要素の 1 つにすぎません。もう 1 つは「イブプロフェン」という単語です。これは危機テキストラインに掲載されています。発見したは、テキストメッセージを送信している人が緊急サービスを必要としていると予測する可能性が、自殺という言葉よりも 16 倍高いです。
フィルビン氏は、Crisis Text Lineのアルゴリズムは、最初の3メッセージ内で最終的に緊急対応が必要となるテキスト会話の80％を特定できると述べた。
それは、カウンセラー、セラピスト、医師がいつか持ちたいと望んでいる類の洞察力です。 Facebookが、その大規模な規模と自殺予防への取り組みのおかげで、現在、その知識を何とかして命を救うことができる人々の手に渡そうとする取り組みを主導していることは明らかである。
Facebook がその立場、そしてそれに求められる透明性を受け入れるかどうかは、同社がまだ答えたくない質問である。しかし、ある時点で他に選択肢がなくなってしまいます。
誰かと話したい場合、または自殺願望を抱えている場合は、テキストメッセージを送信してください。危機テキスト行741-741 または国家自殺予防ライフライン1-800-273-8255まで。ここにありますリスト国際リソースの。