マッシャブルのシリーズ アルゴリズム 私たちの生活と未来をますます制御する謎のコード行を探ります。
全国の病院や医療システムでは、医師が時々使用するものがあります。アルゴリズム患者がどのような治療やケアを受けるかを決定するのに役立ちます。これらのアルゴリズムは、いくつかの要素を使用する基本的な計算から、数百の変数を組み込んだ人工知能によって駆動される高度な計算式まで多岐にわたります。それらは医師の評価に影響を与える役割を果たす可能性があります腎機能、母親がそうすべきなら経膣的に出産する一度帝王切開を受けたことがあるのか、どの患者が帝王切開を行えるのか利点特定の介入によるもの。
完璧な世界では、これらのアルゴリズムを強化するコンピューター サイエンスにより、臨床医は患者のニーズについて比類のない明確さを得ることができるでしょう。もちろん、彼らは自分自身の知識と専門知識に依存しますが、アルゴリズムは理論的には、逸話、さらには暗黙的または明示的な偏見に基づいて決定を下すことを回避します。
唯一の問題は、私たちが経験したように、学んだ近年、アルゴリズムは事実やデータを中立的に裁定するものではないということがわかってきました。代わりに、それらは偏見に満ちた世界で働く、独自の偏見と傾向を持つ人間によって作成された一連の指示です。場合によっては、古いデータや限られたデータを使用して開発されることもあります。
医療分野におけるアルゴリズムをめぐる争いは、昨秋から全面的に表面化してきた。議論は激化するばかりだったコロナウイルスパンデミックが不当に蔓延している荒廃した黒人とラテン系のコミュニティ。 10月には、科学を出版しました勉強その報告書では、ある病院が個人の健康状態の重要な指標として患者の将来の医療費を予測するアルゴリズムを使用していたため、黒人患者よりも多くの白人患者を意図せず高リスクのケア管理プログラムに誘導していたことが判明した。ソフトウェア製品を販売するオプタム社は、病院がツールを誤って使用したとマッシャブルに語った。
この研究の著者らは、黒人患者は白人患者と同様に病気であるが、将来的には費用が低くなることが予想されることを発見した。著者らは、黒人患者の予測コストは彼らの長期的な健康リスクを反映しておらず、むしろ医療へのアクセスの難しさや過去の差別経験による医療制度への関与への消極性などの構造的な問題に関連しているのではないかと疑っている。
「そうでなければ、資源の不平等な分配を正当化する科学的な方法を作り出すことになります。」
「一方で、アルゴリズムがあるということは、科学における客観性の幻想のようなものです」と、この研究所の所長であるエゼメナリ・M・オバシ博士は言う。健康研究所ヒューストン大学の博士号を取得し、人種間の健康格差を研究するカウンセリング心理学者。オバシ博士は関与していない科学勉強。
しかし、アルゴリズムがあるグループに他のグループよりプラスまたはマイナスの影響を与えないようにするためのチェックとバランスがなければ、既存の格差が再現または悪化する可能性が高いと同氏は考えている。
「そうしないと、資源の不平等な配分を正当化する科学的な方法を作り出してしまうことになります」と彼は言う。
この問題に対する普遍的な解決策はありません。開発者は、精緻な数学を使ってこれを解決したくなるかもしれません。医師はソフトウェア入力をいじったり、アルゴリズム製品の使用をまったく避けたりすることもできます。しかし、専門家らは、解決策を考え出すには、この問題についての広範な教育が必要だと言う。開発者、医師、患者の間の新たなパートナーシップ。そして、そもそもどのようなデータが患者から収集されるのかについての革新的な考え方です。
チェックアンドバランス
医療分野ではアルゴリズムが広く使用されているにもかかわらず、アルゴリズムがいくつ存在するのか、またアルゴリズムが何を行うように設計されているのかについての中央の一覧表は存在しません。食品医薬品局レイアウトされた人工知能アルゴリズムを使用する医療ソフトウェアを評価するためのフレームワークが昨年設立されましたが、規制は依然として進化しています。場合によっては、独自のコードが民間企業や医療システムによって開発されているため、それらがどのように機能するかを研究することが困難になります。医師へのアドバイスを支援するためにアルゴリズムが電子医療記録に統合されている場合でも、患者は通常、アルゴリズムが治療の一環としていつ使用されるかを知りません。
で進行中の取り組みの 1 つバークレーデータサイエンス研究所医療アルゴリズムの世界に切望されている説明責任をもたらすことを約束します。ステファニー・イーネフ氏、同研究所および健康イノベーション研究員UCSF Bakar Computational Health Instituteは、臨床アルゴリズムを監査するためのベストプラクティスの「プレイブック」を開発する作業を主導しています。
アルゴリズムによるバイアスのリスクを軽減するために、医療システムが新しいソフトウェアを採用する前に評価プロセスを行うべきだとイーネフ氏は言います。このプレイブックには、医療システムが独自の「アルゴリズム インベントリ」を作成および維持するのに役立つ情報とリソースが含まれており、意思決定にソフトウェアがいつどのように使用されるかを知ることができます。また、アルゴリズムによって行われる予測を経時的および患者人口統計全体で監視する方法や、予測または測定に使用されている内容に基づいてアルゴリズムのパフォーマンスを評価する方法についても説明します。
このガイドは、医療システムに偏見を根絶するための役立つツールを提供することを目的としていますが、イーネフ氏は、継続的な専門教育とコラボレーションが両方とも重要であると考えています。彼女は、この分野で働く開発者には、社会科学、生命倫理、健康公平政策に関するさらなるトレーニングが必要であるとともに、生命倫理学者や患者および健康擁護者とのパートナーシップが必要であると述べています。
「事前に考えて優先順位を付けてください。実際に何を構築しようとしているのか、誰のために、どのように実装するのか、誰によって、どのコミュニティのために実装されるのか。」イーネフ氏は言う。 「物事をサイロで開発し、数学の問題のように扱う場合、それは問題です。」
Mashable のトップ ストーリー
パルスオキシメーターを例に考えてみましょう。この医療機器は、人の血液中に存在する酸素レベルを測定します。コロナウイルスのパンデミックによりウェアラブルがさらに普及人気のある平均的な消費者は、自宅で重要なバイタルサインを追跡するための非侵襲的な方法を探していたからです。それでも、ボストンのレビューレイアウトされた先月、そのセンサーはもともと白い肌向けに調整されていたため、このデバイスは事実上「人種的偏見をコード化」した。肌の色が濃い患者の酸素レベルを追跡する場合、パルスオキシメーターの精度が低くなる可能性があります。通常、デバイス自体はアルゴリズムを使用して測定を行いますが、臨床医はその測定値を独自の臨床意思決定アルゴリズムの 1 つの要素としても使用します。その間、医師は、アルゴリズムが自分と患者を失望させた可能性があることをまったく知りません。
Eaneff の共同研究者の 1 人は、この論文の筆頭著者である Ziad Obermeyer 博士です。科学昨年の秋に発表された研究。彼は、カリフォルニア大学バークレー校の医師であり、医療政策と管理の准教授でもあります。オーバーマイヤー博士と彼の共著者らはアルゴリズムの基礎となる数学にはアクセスできなかったが、代わりに単一の学術病院のデータセットを評価し、アルゴリズムソフトウェアを使用して、複雑な健康ニーズに対する対象を絞った介入からどの患者が恩恵を受けるかを予測した。
研究者らは、黒人患者は白人患者に比べて健康状態が大幅に劣っていたが、支援を増やすために特定される頻度は低かったことを発見した。研究者らがこの違いを考慮すると、追加のリソースを受け取ることができる黒人患者の割合は 18 パーセントから 47 パーセントに急増しました。 (この病院では、従業員が患者を特定するためにアルゴリズムを使用した際に人種は考慮されていませんでしたが、そのプロセスでは不平等な結果が生じました。研究者らは、結果を分類するために医療記録上で患者が自己識別した人種を使用しました。)
Impact Pro として知られるルールベースのソフトウェア製品を販売する会社である Optum は、研究者の調査結果に異議を唱えていますが、撤回や訂正は要求していません。科学。
同社の広報担当者はMashableへの電子メールで、「アルゴリズムは人種に偏っていない」と述べた。同広報担当者は、この研究では、病院での使用に基づいたコスト予測アルゴリズムの特徴が誤っており、「推奨されるツールの使用法と一致しない」と付け加えた。
関連ビデオ: 常にアルゴリズムに疑問を持たなければならない理由
このアルゴリズムのソフトウェアは、予測コストだけでなく、1,700 以上の変数に基づいて健康状態と将来の医療リスクを特定できます。しかし、オーバーマイヤー博士は、たとえメーカーが特定の介入のために患者を特定するためにアルゴリズムを単独で使用すべきではないと主張しているとしても、アルゴリズムのパフォーマンスはコスト予測の精度に関して定期的に評価されており、病院や医療システムにとって重要な指標となっていると述べている。オーバーマイヤー博士は、研究発表後、医療制度や保険会社と協力する中で、これが事実であることに気づいたと述べています。 2016年報告保険計理士会のヘルスケア アルゴリズムに関する研究でも、コスト予測を使用して、Impact Pro を含むいくつかのアルゴリズムのパフォーマンスを測定しました。
「私はこれを、1 つの悪い医療システムや 1 つの悪いアルゴリズムに関する話とは考えていません。これは、医療システムの問題について私たち全員が考えていた方法における広範で体系的な欠陥にすぎません」とオーバーマイヤー博士は書いている。メール。
同氏は、医療システム向けの詳細な戦略を作成することで、「アルゴリズムが患者への対応を開始する前に、パイプラインのさまざまな時点でテストされることを意味する」と期待している。
文化の変化
医療アルゴリズムをめぐる議論 — 医師がいる分野で頻繁に白人男性は反省と防御の両方を促しました。
この夏、ハーバード大学の医学文化教授であるデイビッド・ジョーンズ博士は、記事でニューイングランド医学ジャーナル臨床アルゴリズムで人種がどのように使用されるかについて。共著者らは、産科、心臓病学、腫瘍学、その他の専門分野において、リスク予測や診断検査結果に人種を織り込むアルゴリズムをいくつか特定した。
一見すると、人種を含めることはアルゴリズムの偏りを軽減する効果的な方法のように思えるかもしれません。ただし、ジョーンズ博士とその共著者らが主張しているように、「医療の基本データと決定に人種を組み込むことにより、これらのアルゴリズムは人種に基づいた医療を広める。これらの人種調整アルゴリズムの多くは、より多くの方向性を導く可能性のある方法で決定を導く」人種的および民族的少数派の人々よりも、白人の患者に注意やリソースを与える必要がある。」
さらに、一部のアルゴリズム開発者がなぜ人種や民族の違いが存在するのかを説明しようとすると、その説明は「時代遅れで疑わしい人種科学や偏ったデータ」につながると彼らは書いている。共著者らは、人種が健康結果にどのような影響を与えるかを理解することが重要だと述べた。人種が特定の結果に関連しているように見える場合、それは構造的な人種差別、教育、収入、医療へのアクセスなど、他の何かの代理である可能性があります。それでも彼らは、アルゴリズムなどの予測ツールでそれを使用することに対して警告した。
「私たちは、これらのことは悪いことであり、やめるべきだと公言したわけではありません」とジョーンズ博士はインタビューで語った。 「私たちは、これらのことはおそらく悪いものであり、考慮すべきであると言いました。」
ジョーンズ博士は、アルゴリズムが貧困を考慮に入れれば改善され、より公平な結果を生み出すだろうと信じています。重要な予測因子平均寿命、食糧不安、住居、環境毒素への曝露などのその他の社会経済的要因。
一般に、医師は信頼している技術やツールを放棄することに抵抗があることが知られています。彼らは、構造的な人種差別と健康状態との複雑な関係を理解していない可能性があります。その結果、アルゴリズムや公平性について批判的に考えることに消極的な人もいるかもしれません。
所長のオバシ博士に。健康研究所ヒューストン大学では、開発者と臨床医がアルゴリズムの影響を受ける患者の声に耳を傾けることが重要です。
精神疾患、薬物使用、親密なパートナーからの暴力など、自分の健康状態の特定の側面を過小報告する患者は、恐怖からそうする可能性があります。父親の病歴に関する質問に答えられない場合、それは父親と個人的な病歴がないか、医学的問題について父親と話し合っていないことが原因である可能性があります。彼が母親の健康状態に関するアンケートの部分に回答できない場合、それは母親が何年も保険に加入しておらず、医療機関を受診していないことが原因である可能性があります。 「従わない」とみなされた患者は、診察室で人種差別に対処した後、医師の指示に従うことに不快感を感じる可能性があります。
オバシ博士は、そのような文化の違いや実際の経験を念頭に置いて設計されたアルゴリズムを望んでいます。
「技術の進歩を取り入れてそれを実践に移そうとするときは、その影響を受ける人々を同席させる必要がある」とオバシ博士は言う。 「そしてそれには、異なるレベルの謙虚さが必要です。」
続きを読むから アルゴリズム: