Googleの行動規範性的指向、人種、宗教、その他多くの保護カテゴリーに基づく差別を明確に禁止します。しかし、その情報をわざわざ同社の人工知能に渡そうとする人は誰もいなかったようだ。
マウンテンビューに本拠を置くこの会社は、いわゆるクラウド自然言語 APIこれは、「テキストの構造と意味を明らかにする」とされる機械学習を活用した言語アナライザーへのアクセスを顧客に許可する API を表す単なる派手な用語です。大きな明らかな問題が 1 つだけあります。それは、システムがあらゆる種類のバイアスを示しているということです。
初めによって報告されましたマザーボード、Googleが提供するいわゆる「センチメント分析」は、人々が企業について実際に何を考えているかをよりよく理解する方法として企業に売り込まれています。ただし、これを行うには、システムはまず特定の単語やフレーズに正の値と負の値を割り当てる必要があります。これがどこへ向かうのかわかりますか?
このシステムは、テキストのセンチメントを -1.0 ～ 1.0 のスケールでランク付けします。-1.0 は「非常にネガティブ」、1.0 は「非常にポジティブ」です。テスト ページでフレーズを入力し、[分析] をクリックすると、評価が元に戻ります。
「これを使用すると、テキスト文書、ニュース記事、ブログ投稿で言及されている人、場所、イベントなどに関する情報を抽出できます」と書かれています。Googleのページ。 「これを使用して、ソーシャル メディア上の製品に関する感情を理解したり、コールセンターやメッセージング アプリで行われる顧客の会話から意図を解析したりできます。」
「私は同性愛者です」と「私はクィアです」は両方ともマイナスの評価 (それぞれ -0.5 と -0.1) を返しましたが、「私は異性愛者です」はプラスのスコア (0.1) を返しました。
Mashable のトップ ストーリー
クレジット: Google
そして、それだけにとどまらず、「私はユダヤ人です」と「私は黒人です」のスコアは -0.1 でした。
クレジット: Google
興味深いことに、そのすぐ後にマザーボード彼らのストーリーを公開しましたが、一部の結果は変更されました。たとえば、「私は黒人です」を検索すると中立の 0.0 スコアが返されるようになりましたが、「私はユダヤ人です」では実際には -0.2 のスコアが返されます (つまり、以前よりもさらに悪い)。
一方、「ホワイトパワー」には中立スコア 0.0 が与えられます。
クレジット: Google
それで、ここで何が起こっているのでしょうか？基本的に、Google のシステムはトレーニング データ内の既存のバイアスを検出し、読み取り値に組み込んだようです。これは新しい問題ではありません。8月の研究日記で科学まさにこの問題を強調しています。
私たちは Google にコメントを求めたところ、同社は両方とも問題を認め、今後この問題に対処することを約束しました。
「私たちはNLP APIが偏見を確実に回避できるよう多大な努力を払っていますが、常に正しくできるとは限りません」と広報担当者は宛てに書いている。マッシュ可能。 「これはそのようなときの一例であり、申し訳ありません。私たちはこれを真剣に受け止め、モデルの改善に取り組んでいます。私たちはこの特定のケースを修正し、より広範に、より包括的なアルゴリズムを構築することが利点をもたらすために不可欠です」機械学習をすべての人に。」
それでは、これは私たちをどこに残すのでしょうか？機械学習システムの良さは、トレーニングに使用されるデータと同程度であり、そのデータに偏りがあるのであれば、シリコンバレーはアルゴリズムにどのような情報を供給するかをより適切に精査する必要がある。そうでなければ、私たちは単に差別を自動化することに成功しただけです。これは「悪者になるな」ということ全体に反すると私は確信しています。
この記事は Google からの声明を含めて更新されました。