ナンシー ルブリンが 2013 年にクライシス テキスト ラインを設立してから数年後、彼女は機会を求めて取締役会に近づいた: 非営利団体のユーザー データと洞察の宝庫を共感ベースの企業トレーニング プログラムに変換したらどうなるでしょうか?ビジネス戦略には、Crisis Text Line の活用が考えられます。優れたデータ収集と分析、厳しい会話をするのに最適な方法、そしてそれによって悲惨な資金不足のメンタルヘルス分野で活動している新興組織に必要な収益源を生み出す方法についてのレッスンとともに。
危機介入サービスは現在、実際にうまくいっている。それが持ち込んだ2020 年の収益は 4,900 万ドルこれは、パンデミック関連のニーズと拡大に対応するための企業支援者からの寄付の増加と、新たな慈善活動資金のおかげです。しかし、2017 年の時点で、Crisis Text Line の収入は比較的低かったです。わずか260万ドル。ルブリンが営利会社の設立を提案したとき、同団体の理事会はクライシス・テキスト・ラインの長期的な持続可能性を懸念していた。創立理事のダナ・ボイド氏が最近公開したアカウントによると、。
クライシス・テキスト・ラインから営利企業を分離するというアイデアは、テキスト送信者がカウンセラーとの親密で傷つきやすい会話の収益化に本当に同意しているかどうかという複雑な倫理的問題を引き起こしたが、取締役会はこの取り決めを承認した。Lorisとして知られる新会社は2018年に設立されました企業に独自の「ソフトスキル」トレーニングを提供することを目的としています。
ただし、Crisis Text Line がロリスとデータ共有契約を結んでおり、これによって同社がスクラブされ匿名化されたユーザー テキストへのアクセスを提供されたかどうかは明らかではありませんでした。ポリティコが先週報じた事実。この記事には、顧客サービスを最適化する目的でエンタープライズ ソフトウェアを企業に販売するロリスのビジネス モデルに関する情報も含まれていました。月曜日、連邦通信委員は非営利団体に対し、この取り決めを理由にデータ共有関係の停止を要請した。手紙の中で「不穏なディストピア」Crisis Text Line とロリスのリーダーシップに。その同じ日Crisis Text Lineは協定の終了を決定したと発表そしてロリスに対し、以前に受け取ったデータを削除するよう要求した。
「この決定は私に重くのしかかっていたが、私はそれに賛成票を投じた」とボイド氏はルブリンにロリス設立を認可することについて書いた。 「今知っていることを知っていたら、そうはしなかったでしょう。しかし、後から考えるといつもより鮮明です。」
クライシス・テキスト・ラインのバイスプレジデント兼法務顧問ショーン・ロドリゲス氏によると、ロリスからの収益はクライシス・テキスト・ラインを支援することになっているが、同社は2020年の非営利団体の収益増加に何の役割も果たさなかったという。それでも、強い心理的または感情的苦痛を経験しながら助けを求める人々によって生成されたデータを収益化するというCrisis Text Lineの決定をめぐる論争は、ビッグデータの倫理におけるケーススタディとなっている。アルゴリズムが大規模なデータセットに対して機能すると、新しい洞察が得られ、その中には文字通り命を救う可能性があるものもあります。結局のところ、Crisis Text Line は AI を使用して、どのテキストメッセージ送信者がより危険にさらされているかを判断しました、キューの上位に配置します。
しかし、このような画期的な進歩の約束は、データの誤用や悪用のリスクに影を落としてしまうことがよくあります。政府による強力な規制や指導がない場合、非営利団体やクライシス テキスト ラインやロリスなどの企業は、独自の倫理的枠組みを即興で構築するしかありません。その代償は今週、FCCの叱責と、Crisis Text Lineが最終的にユーザーと支持者を裏切ったという感覚によって明らかになった。
共感を活用する
Loris が最初にローンチされたとき、Lublin 氏は Mashable に対し、その一見高潔な野心について次のように説明しました。「私たちの目標は、人間をより良い人間にすることです。」
インタビューの中で、ルブリン氏は、Crisis Text Line の共感的でデータ主導型のカウンセラー トレーニングの教訓を職場に応用し、重要な会話スキルの開発を支援することを強調しました。これは、非営利団体の活動から自然に生まれたもののように思えました。ルブリン氏が当時、ロリス氏が匿名化されたCrisis Text Lineのユーザーデータにアクセスできることを知っていたが明示しなかったのか、あるいは同社のアクセス権が立ち上げ後に変更されたのかは不明だ。
「別の組織が、危機カウンセラーが開発していたスキルを開発するためにより多くの人々を訓練できれば、おそらく危機管理ラインの必要性は減るだろう」とボイド氏は書いている。彼女は自分の経験についてのMashableの質問をCrisis Text Lineに伝えた。 「痛みと苦しみのサイクルに対抗するツールを構築できれば、私たちが奉仕してきた人たちから学んだことを、そのまま生かすことができます。私は、他の人が共感を育み、活用できるよう支援したいと思いました。」
「他の人が共感を育み、活用できるよう手助けしたかったのです。」
しかし、ある時点でロリスはその使命から離れていきました。その代わりに、企業が顧客サービスを最適化するのを支援するサービスの提供を開始した。LinkedIn で同社は次のように述べています。そのライブコーチングソフトウェアは「危機的状況下で最も困難な会話を乗り越えた豊富な経験」であり、ライブコーチングソフトウェアは「カスタマーケアチームが顧客をより幸せにし、ブランドを群衆の中で際立たせるのに役立つ」と述べている。
Mashable のトップ ストーリー
クライシス・テキスト・ラインからロリスを分離することは最初から悪い考えだったかもしれないが、企業の収益向上を支援するためにロリスがユーザーデータを商業化したことは、自殺予防と危機介入における非営利団体の役割から驚くほど不安定に感じられた。
「より広範な種類の失敗」
ノースイースタン大学倫理研究所の AI およびデータ倫理イニシアチブのアソシエート ディレクターであるジョン・バスル氏は、この論争は人工知能における「広範な種類の失敗」のもう 1 つの例であると述べています。
Basl 氏は、AI が公益に明らかに利益をもたらす可能性があると信じているが、この分野には、Crisis Text Line が社内で解決しようとしたような倫理的問題に技術者や起業家が取り組むのに役立つ「倫理エコシステム」が欠けていると述べた。たとえば、生物医学研究や臨床研究では、連邦法が研究の実施方法を規定し、数十年にわたる事例研究から過去の間違いについての洞察が得られ、生命倫理学者のような学際的な専門家が新規または進行中の議論の仲介に役立っています。
「AI の分野では、まだそれらがありません」と彼は言います。
連邦政府は人工知能の影響を理解しています。の食品医薬品局によるAI医療機器の規制枠組みの検討は一例です。しかしバスル氏は、倫理エコシステムを構築するための連邦政府による大規模な取り組みがないため、この分野はAIによって引き起こされる課題を認識するのに苦労していると述べた。彼は、人工知能の規制に特化した連邦機関、または少なくとも国立衛生研究所、環境保護庁、FDA などの既存の主要機関の下位部門を想像することができます。
Loris や Crisis Text Line のどちらにも関与していなかった Basl 氏も、AI を利用する組織や企業の内部では動機が異なるとも述べています。純粋にテクノロジーを倫理的に使用したいと考えている人もいれば、より利益を追求している人もいます。
Loris と Crisis Text Line 間のデータ共有を批判する人々は、ユーザーのプライバシーの保護が最優先されるべきだったと主張しています。 FCC委員のブレンダン・カー氏は、スクラブされ匿名化されたユーザー記録にも個人を特定できる詳細が含まれている可能性があるという懸念を認め、テキストメッセージ送信者がCrisis Text Lineとの通信を収益化することに「意味のある同意」を与えたかどうかについては「重大な疑問」があると述べた。
ロドリゲス氏はマッシャブルへの声明で、「組織と理事会は、危機に陥ったテキストメッセージ送信者の特有のニーズに合わせてメンタルヘルスのサポートを最大限に継続的に提供できるよう、同意を得る方法を進化、改善することにこれまでも、そしてこれからも取り組んでいる」と述べた。同氏は、Crisis Text Lineが利用規約の先頭に箇条書きの概要を追加するなど、ユーザーに対する透明性を高めるための変更を加えていると付け加えた。
「最も弱い立場にある人々に関するデータを収集し、それを経済活動に利用しているのです。」
しかし、ロリスの性格がこの取り決めを倫理的に不適切なものにしたのは間違いない。
ボイドさんは、批評家がなぜ「怒りと嫌悪感」を感じるのか理解できると書いた。
彼女は、こうした批判者たちに一連の質問を投げかけ、長い説明を締めくくった。その中には、「危機に陥ったユーザーの暗黙の同意と、ユーザーが意図的に同意していない可能性が高いデータの他の潜在的に有益な利用とのバランスをとる最善の方法は何か」彼らや他の人を助けることができますか？」
いつボイドさんはこれらの質問のスクリーンショットを自身のTwitterアカウントに投稿した、回答は圧倒的に否定的で、多くの回答がありました。彼女と他の取締役会メンバーに辞任を求める。何人かは、Crisis Text Line に対する信頼が失われたという感想を共有しました。
おそらく、『Crisis Text Line』と『ロリス』は、人工知能の倫理的使用についての警鐘となるでしょう。テクノロジーを善のために使おうとする思慮深い人々は、それでも悲惨な間違いを犯しました。
「最も弱い立場にある人々に関するデータを収集し、それを経済活動に利用しているが、ある意味、彼らを人間として扱っていないように見える」とバスル氏は語った。
誰かと話したい場合、または自殺願望を抱えている場合は、電話してください。国家自殺予防ライフライン1-800-273-8255まで。に連絡してくださいNAMI ヘルプライン1-800-950-NAMI、月曜日から金曜日の午前 10 時から午後 10 時（東部標準時間）まで、または電子メールで[メールで保護されています]。ここにあります国際リソースのリスト。