マッシャブルのシリーズ アルゴリズム 私たちの生活と未来をますます制御する謎のコード行を探ります。
アルゴリズム 私たちの人生を形づくる、他のものよりも穏やかなものもあります。
から出会い系アプリ、 にニュースフィード、 にストリーミングそして購入推奨事項に従って、私たちは、名前のない人間や不透明なマシンによって生成された、目に見えない命令セットによる微妙な刺激に慣れてきました。しかし、アルゴリズムが私たちに与える影響には、それほど穏やかではない別の側面もあります。好みではない曲や、買うべきではなかった商品、さらには失敗したデートよりも、その刺激がより強力で、その結果が長続きする側面があります。
顔認証は不当逮捕につながる。自動ナンバープレート読み取り機により、子供たちに銃を突きつけられる事態が発生した。軽微な犯罪に対する懲役刑を2倍にする不透明なソフトウェア。
アルゴリズムには、痛みと抑圧を大規模に引き起こす力があり、意図的にこれを押し返そうとする組織的な努力がない限り、アルゴリズムによる意思決定への依存度はますます高まり、私たちはさらに暗い道へと導かれるだけです。
ありがたいことに、まさにそれをやっている人たちがいて、あなたが戦いに参加する準備ができています。
関連ビデオ: アルゴリズムの仕組み
次は犯罪です
アルゴリズムについてどのように議論しますか?
米国の刑事司法制度に関与している多くの人にとって、これは理論的な問題ではありません。社会が夕食の勧めや車の行き方などの比較的些細な事柄についての意思決定をアウトソーシングすることにますます抵抗がなくなり、全国の裁判所や警察はすでに全面的にアウトソーシングを行っている。
予測警察活動と犯罪リスク評価の分野はどちらも、個人が将来犯罪を犯すかどうかについて、うまくいけば情報に基づいた推定を行うために大規模なデータセットに依存しています。これらの推定値は裁判官による刑事判決に織り込まれており、比較的リスクの低い犯罪でも懲役刑が長くなる可能性がある。そのようなケースの 1 つとして、2016年にプロパブリカが報告では、手押し式芝刈り機を盗んだとして有罪判決を受けたウィスコンシン州の男性が、リスク評価ソフトでこの男性に高い再犯スコアを割り当てられたため、懲役期間が1年から2年と倍増した経緯を紹介した。
今週発表された調査では、タンパベイ・タイムズ明らかにしたフロリダ州パスコ郡の警察はアルゴリズムを利用して誰が犯罪を犯す可能性があるかを予測しようとしているという。その後、法執行機関はこれらの人々に対して執拗な嫌がらせを行っていると伝えられている。
「潜在的な犯罪者は、犯罪歴に基づいて人々にスコアを与える同省が発明したアルゴリズムを使用して最初に特定される」と報告している。回。 「人々は、たとえ起訴が取り下げられたとしても、逮捕されるたびにポイントを獲得します。単に容疑者であるだけでポイントを獲得します。」
残念なことに、刑事司法と人工知能の専門家は、これらのリスク評価ツールを強化するアルゴリズム モデルに入力されるデータにはバイアスが含まれており、そのデータ自体が、その過程で現実の生活を台無しにする可能性のある偏った結果を生み出していると主張しています。アルゴリズムに偏りが証明されているかどうかに関係なく、アルゴリズムが不適切に使用される可能性があります。パスコ警察の場合、彼らの目的は人々に迷惑をかけすぎて移動することであった。
「公平なリスク評価ツールを作成できる技術的な解決策はありません。」
AIの今は、2017 年に設立され、ニューヨーク大学に拠点を置く研究および政策組織で、「人工知能の社会的意味」を研究しています。で2019年の論文AI Nowは、公民権侵害が予測警察に及ぼす影響に焦点を当て、「政府委員会の調査や連邦裁判所が汚職や人種的偏見に起因する和解、同意判決、合意覚書を監視しながら、予測警察モデルを開発した米国の13の法域を強調した」またはその他の違法な警察活動。」
言い換えれば、システムに入力されるデータ自体が人種的偏見の産物だったということです。
「これらのアルゴリズムが本質的に偏った警察データに基づいてトレーニングされ、システムレベルで多くの点で人種差別的な状況の中で展開されていることを考えると、偏りのないリスク評価ツールを作成できる技術的解決策は存在しない」と説明した。AIの今テクノロジーフェローヴァルーン・マトゥール電子メールで。 「本質的に、これらの評価ツールの設計と概念自体がそのようなシステムをさらに強化しようとするものであり、その結果、すでに社会から疎外されている人々に対して取り返しのつかない偏りをもたらすことになります。」
リスク評価ツールに内在するバイアスは、特に深刻になっています。コロナウイルスパンデミック。当局がどちらかを決定するため、囚人は早期に釈放されるべき刑務所での感染爆発を防ぐ取り組みの一環として、受刑者の再犯率を予測するアルゴリズムは、誰が生きるか、誰が死ぬかを決定する可能性を秘めている。
で今年の3月, ウィリアム・バー司法長官は刑務所局に対し、受刑者の利益を考慮するよう指示した。パターン（推定リスクとニーズを対象とした囚人評価ツール）は、コロナウイルスが国を襲う中、受刑者を自宅監禁に移送するかどうかの決定に、アルゴリズムを利用したリスク評価ツールであるスコアを付けている。
PATTERN スコアが高すぎるので、刑務所で煮込むのはあなたのためです。
連邦刑務所局長マイケル・カルバハル氏（左）は、新型コロナウイルス感染症（COVID-19）感染症流行下での収監に関する6月の上院司法委員会の公聴会で宣誓宣誓する。 クレジット: ERIN SCOTT / getty
のAIに関するパートナーシップは、2016 年末に設立されたサンフランシスコに本拠を置く組織で、（他の目標の中でも特に）「AI に対する一般の理解を促進する」ことに取り組んでいます。アリス・シャンPartnership on AI の公平性、透明性、説明責任調査責任者は、特に今はリスク評価ツールの偏りを懸念する理由があると電子メールで説明しました。
「で強調されているように、刑事司法報告書昨年リリースしましたが、問題の概要連邦政府の新型コロナウイルス対応におけるPATTERNリスク評価ツールの使用について、職員やパートナーの多くは、刑事司法制度におけるリスク評価ツールの使用に伴う偏りや正確性の問題を懸念している」とシャン氏は書いた。
さらにシャン氏は、「釈放の決定を自動化するためにこれらのツールを公判前の状況で使用すべきではないというのが我々の報告書の一致した見解だ」と説明した。
AI Now の Mathur 氏と Partnership on AI の Xiang 氏はどちらも、より公正で公平なアルゴリズムの未来を求める戦いにおいては、知識と声を持った国民が重要な要素であると考えています。
「AI システムの消費者として、私たちは AI 製品の開発者にデータをどのように収集し、アルゴリズムがどのように開発されているかを尋ねるべきです」と Xiang 氏は説明しました。 「AI システムは純粋に客観的であると考えるのは簡単ですが、実際には、AI システムは多くの人間の意思決定の集合体です。」
Mathur 氏はこれをさらに一歩進めて、アルゴリズムが想定する「公平性」は実際には的外れであると指摘しました。
「私たちは、単にその計算出力が『公正』であるかどうかを尋ねることによってではなく、そのようなツールが特定のパワーダイナミクスをどのように強化または逆転させるかを問うことによって、偏ったリスク評価ツールに反発します」と彼は書いている。 「そうすることで、コミュニティと実際の人々が、今後の具体的な行動につながる必要かつ重要な会話を行うための手段が提供されます。」
機械の中のレンチ
2018年当時、カリフォルニア州オレンジカウンティの人気ショッピングモールに行こうと思ったら、駐車場を利用するだけで地元警察の目に留まる可能性がありました。モールの所有者であるアーバイン カンパニーは、当時、あなたには知られていませんでしたが、Vigilant Solutionsと協力— 法執行機関にデータを販売する民間監視会社。
駐車場に車で入ると、自動ナンバー プレート リーダー (ALPR) が車の到着を記録します。到着時刻と出発時刻が保存され、その情報が増え続けるデータベースに追加され、そのデータベースが Vigilant Solutions と共有され、警察が利用できるようになりました。 Irvine Company は、非営利デジタル権利団体である電子フロンティア財団 (EFF) が 2018 年 7 月まで ALPR データを収集していました。練習中にそう呼びかけた。
パトカーに搭載されたALPR。 クレジット: スザンヌ・クライター/ゲッティ
アーバイン社が警察に提供するナンバープレートデータの収集を停止したにもかかわらず、ALPR は依然としてカリフォルニアのさまざまな都市に点在しています。たとえば、ハンティントンビーチ周辺を車で走ると、より多くの ALPR を通過します。EFF の監視アトラス— それはそうかも知れません位置データを共有するアイスと一緒に。カリフォルニア州の法執行機関の大多数は ALPR を使用しており、電柱や車両に固定されていることが多く、そのいくつかは個人のプライバシー保護を目的とした州法に従わずに使用しているとのことです。2月のレポート州の監査官によって。
Mashable のトップ ストーリー
街中を無邪気に旅行するだけでも、米国を引き継ぎつつあるアルゴリズム支援型の大規模監視の一因となり、その過程で現実の犠牲者が命を奪われる可能性がある。
これは理論的なものではありません。 8月初旬、17歳未満の子供4人を含む黒人一家が、銃を突きつけられたコロラド州オーロラの警察による。暑い駐車場でうつぶせになり、中には手錠をかけられ、子供たちは助けを求めて叫んだ。
警察を除いて誰も何も悪いことをしていませんでした。
ツイートは削除された可能性があります
問題は、オーロラ警察は後に主張した、ALPR システムのエラーでした。家族のSUVと州外から盗まれたバイクを混同した。警察は明らかな矛盾を無視し、とにかく銃を抜いた。黒人一家のイライラする警察との遭遇は、アメリカの警察における組織的な人種差別への注目が高まっていた時期に起こった。
ALPR システムは、視界を通過するすべてのナンバープレートを迅速に読み取るように設計されており、によるアルゴリズムと機械学習を利用して、キャプチャした画像を機械可読文字に変換します。そして、によると、ケイト・ローズ、セキュリティ研究者であり、プライバシー保護ファッション ラインの創設者敵対的なファッション、彼らはたくさんの間違いを犯します。
「これらのシステムは毎分数千枚のプレートを高速で取り込むことを目的としているため、特異性が低く、看板やピケットフェンスなどを誤って読み込む可能性があります」と彼女は電子メールで書いた。
ローズ氏によると、ALPR によってもたらされる脅威は多面的です。
「私たちのコミュニティのメンバーをストーキングしたり、恐怖に陥れるためにこのデータを使用することに加えて」と彼女は書いた。「このデータは、車が記録されているすべての人にとって詳細かつ機密であり、あなたの車が目撃された場所と場所を示す非常に詳細な地図を作成しますそして日付とタイムスタンプ。」
そこでローズは、それについて何か行動を起こすことにしました。彼女は、プリントされたパターンによって、ALPR 住民をだましてシャツやドレスをナンバー プレートとして読み取らせる一連の衣類をデザインし、発売しました。これは事実上、「ジャンク」データをシステムに注入することになります。
言い換えれば、彼女のデザインのいずれかを着用するだけで、一部は反監視活動であり、一部はプライバシー活動でもあります。
監視ストリームを汚染します。 クレジット: 敵対的なファッション
「Tシャツを着ただけでALPRがいかに簡単にだまされるかを知ることで、人々がこれらのシステムがどのように機能するのか、そしてなぜ国民を守るために監視と規制が必要なのかをより深く理解できることを願っています」とローズ氏は説明した。 「ALPRは、特定の交通安全法の執行や料金徴収など、私たちが『安全に依存する』システムとみなしているシステムの1つです。したがって、ALPRがどこで間違いや悪用を受けやすいか、またすでに間違いや悪用の危険にさらされている可能性がある場合は、それを指摘するのが私たちの義務です。」
「他の人が反発するまで、人々は監視文化になんとなく同調するでしょう。」
販売を開始する企業が増えているため、安価なソフトウェア誰のカメラでも ALPR に変えることができます月額 5 ドル、ALPRの規制と監視の必要性は高まるばかりです。
ありがたいことに、反撃する方法はたくさんあります。そのために独自のファッション ラインを立ち上げる必要はありません。ローズ氏は、監視技術が何に使われているかを調べるよう勧めた。あなたのコミュニティ。連絡することもできます地元のACLU支部彼らが現在どのようなプライバシーへの取り組みに取り組んでいるかを知り、遠慮せずに連絡してくださいあなたの議員。
一般的にローズ氏は、アルゴリズムによる監視国家が気に入らないのであれば、声を上げることを恐れず、声を上げ続けるべきだと語った。
「あなたの近所やHOAが、住民とその来訪者を追跡するためにナンバープレートリーダーを導入しようとして、その他の人たちを望ましくない人や部外者として選別しようとしているなら、毅然とした態度をとってください」とローズ氏は主張した。 「人々は、他の人が反発し、それが正常ではなく、非常に侵略的であるだけでなく、隣人間で信頼とサポートの文化を構築するほど効果的ではないことを気付かせるまで、監視文化になんとなく同調するでしょう。」
顔には何が入っているのか
あなた自身の顔があなたに対して利用されています。
顔認識です偏った～の抑圧を煽るテクノロジーエスニック少数派の逮捕に直接貢献する無実の 人々米国では、そして、何百万もの人々が、彼らの知らないうちに、それを実現する上で無意識のうちに役割を果たしてきました。
問題となっているのは、顔認識アルゴリズムの生命線であるデータセットだ。システムをトレーニングするには、研究者や企業プログラムが学習できる何百万もの人々の顔の写真が必要です。そのため、同じ研究者や企業は、私たちが最近注目している場所、つまりインターネットに注目しています。とても似ていますクリアビューAI悪名高いフェイスブックをスクレイピング独自の顔認識ソフトウェアを強化するためにユーザーの写真を使用するために、世界中の研究者が写真共有サイトやライブビデオ ストリームを収集して、アルゴリズムの開発に必要な原材料を提供してきました。
アダム・ハーヴェイベルリンを拠点とするプライバシーとコンピューター ビジョンの研究者兼アーティストである彼は、こう簡潔に言いました。
同氏は電子メールで「人工知能情報のサプライチェーンを制限すれば、監視技術の成長も制限されることになる」と説明した。
ハーベイは、彼の協力者であるジュール・ラプラスとともに、メガピクセル— 「『自然の中で』作成された生体認証データセットの起源と終点を調査する芸術および研究プロジェクト。」
MegaPixels で紹介されているデータセットは、あなたの顔が抑圧的な顔認識アルゴリズムの重要な要素となる可能性がある、明らかに不透明な方法を示しています。
2014 年後半、現在は閉鎖されているサンフランシスコのコインランドリー兼オープンマイク会場 Brainwash Cafe (筆者はよくそこで洗濯していました) が、利用者のビデオをウェブにストリーミングしました。スタンフォード大学の顔認識研究者はこれをチャンスと捉え、ライブストリームビデオを使用しました「アルゴリズムの有効性をトレーニングし検証する」ことの両方を目的としています。
結果として得られたデータセットは、洗脳データセットには、「」の画像が 11,917 枚含まれています。91146人のラベル付けされた人々」ハーベイとラプラスは次のように述べています。メガピクセル、そのデータセットは中国の研究者によって使用されています。国立防衛工科大学、「」にも登場します。2018年の研究論文Megvii (Face++)... と提携しています。監視技術新疆ウイグル族のイスラム教徒を監視するためだ」とメグヴィさんは語った。ブラックリストに載ったで米国2019年10月に人権侵害により。
「あなたは現在すでに監視技術に貢献している可能性があります。」
2014 年にその特定のコインランドリーを訪れたことはないかもしれませんが、ある時点で写真共有サイトを使用したことがあるかもしれません。フリッカー。 2016 年、ワシントン大学の研究者は、クリエイティブ コモンズ ライセンスで Flickr にアップロードされた 3,311,471 枚の写真から抽出された 4,753,320 人の顔のデータセットを公開しました。吹き替えメガフェイス、データセットは使用されています何百人も顔認識アルゴリズムをトレーニングするために世界中の企業や組織を対象にしています。
がある多数のデータセットこれら 2 つのように、何も知らずに日常生活を送っている人々の同意なく取得された画像で構成されており、成長を続ける顔認識技術の分野に供給されています。
「データ収集を規制するルールが少なすぎるため、現在すでに国内外の商業および政府機関の監視技術に貢献している可能性があります」とハーベイ氏は説明した。 「より良い制限が導入されない限り、自分たちの生体認証データは商業目的や軍事目的で悪用され続けることを誰もが認識すべきです。」
ツイートは削除された可能性があります
しかし、人々は反撃しており、ハーベイやラプラスのように、段階的にではあるが勝利するケースさえある。
未来のために戦おうまさにそれをやっているグループがあります。アーティスト、活動家、技術者、エンジニアの集合体を自称するファイト・フォー・ザ・フューチャーは、次のことに積極的に取り組んでいます。顔認識技術を禁止する、 保証ネット中立性、そしてアマゾンのサービスを破壊する監視関係警察と一緒に。
「顔認識は、独特の危険な監視形態だ」とファイト・フォー・ザ・フューチャーの副局長エヴァン・グリア氏は電子メールで説明した。 「私たちの日常の動きや活動がますます多くのカメラに捉えられるようになった世界では、顔認識によってその膨大な映像が監視用、つまり公共の安全ではなく公共の管理のために武器化されることが可能になります。」
グリア氏は、顔認識技術との戦いが重要であることを示すために、米国のコンサート会場やライブミュージックフェスティバルでの顔認証を禁止するキャンペーンの成功と、キャンパス内でこの技術を使用しないことを約束するよう60の大学を説得したことの2つの具体例を挙げた。勝てるやつ。
「核兵器や生物兵器と同様に、顔認識は人間社会の将来に対して非常に深刻な脅威をもたらすため、潜在的な利益が避けられない害をはるかに上回っている」とグリア氏は強調した。
顔認識を利用した抑圧との戦いは、Fight for the Future だけではありません。おそらく、洗脳データセットを公開したハーベイとラプラスの研究のおかげで、それはもう配布されてない。監視映像の別のデータセット、デューク MTMC データセットデューク大学のキャンパス内で同意なしに取得され、その後削除されました2019年フィナンシャル・タイムズ記事同氏は、世界中の人々が監視映像から歩行者を追跡し識別するためのアルゴリズムをトレーニングするためにこれを使用していることを強調しました。
「出版後、フィナンシャル・タイムズ「記事（デューク MTMC データセットの作成者）は、データセットの Web サイトを削除しただけでなく、管理がより難しい GitHub リポジトリの削除も促進しました」とハーベイ氏は説明しました。著者は正式に謝罪した。正直に言うと、彼は問題に気づいておらず、データセットに何が起こったのかを認識してすぐに行動したのだと思います。」
「データのないアルゴリズムは役に立ちません。」
ありがたいことに、この危険なテクノロジーの成長に抵抗するのにフルタイムのプライバシー活動家である必要はありません。グリア氏が説明したように、この問題に対する自分の立場を、選挙で選ばれた議員に直接、声を大にして明確にすることが、顔認識テクノロジーとの戦いの基本だ。
「現実には、テクノロジーでできる最悪のことは何でも喜んで実行し、それを買う人に売りつけようとする怪しい企業が常に存在するということだ――それを禁止する法律がない限りは」と彼女は書いた。 。 「法執行機関による顔認識の使用を禁止する法案が下院と上院に提出されている。誰もが選挙で選ばれた役人にそれを支持するよう伝えるべきだ。」
より根本的なレベルでは、顔認識テクノロジーと戦うには、その創造における私たちの役割を認識することも必要です。
ハーベイ氏は、同社の社長兼CEOのコメントを強調した。インキューテルのエピソードで、CIA にテクノロジーに関する洞察を提供することに取り組んでいる民間投資会社です。知性が重要ポッドキャスト: 「データのないアルゴリズムは役に立ちません。」
私たちがオンラインに投稿する写真など、私たちが作成したデータは、私たちに対して悪用されています。それを変えるには私たちの集団的な行動が必要です。
続きを読むからアルゴリズム:
訂正: 2020年9月4日午後5時13分PDTこの投稿は、電子フロンティア財団からその行為を批判された後、アーバイン社が ALPR データの収集を 2018 年 7 月に停止したことを反映して更新されました。