最近、ビッグデータの魔法についてよく耳にします。正しい数字を把握できれば、収入が増えたり、意思決定が改善されたり、配偶者を見つけるのに役立つ可能性がある――などと考えられている。 2009年、米国教育長官アーン・ダンカンは群衆の教育研究者にこう語った。「私は意思決定を促すデータの力を深く信じている。データは私たちに改革へのロードマップを与えてくれる。データは私たちがどこにいるのか、どこで何をする必要があるのかを教えてくれる」行きなさい、そして誰が最も危険にさらされているのか。」
これは、地元の公立学校の修復にビッグデータを活用しようとしたときに起こった話です。失敗しました。そして、私が失敗した理由は、アメリカの標準化されたテストシステムが決して成功しない理由とすべて関係しています。
数年前、私は息子の 1 年生の宿題を手伝うのが難しくなり始めました。私はテンプル大学でデータジャーナリズムの教授をしていますが、ある日息子からワークシートの作成について助けを求められたとき、認識論的なジレンマに遭遇しました。私自身の一般知識 (およびインターネット) によれば、多くの「正しい」答えが考えられます。ただし、これらの回答のうち 1 つだけが、課題で完全に評価されることになります。
「天然資源を書き留める必要がある」と彼は私に言いました。
「空気、水、石油、ガス、石炭」と私は答えた。
「すでに空気と水は置いています」と彼は言った。 「石油、ガス、石炭は天然資源ではありません。」
「もちろんそうですよ」と私は言いました。 「それらは再生不可能な天然資源ですが、それでも天然資源です。」
「でも、先生が授業で出したリストには載ってなかったのよ」
私は息子が 3 年生から共通テストを受け始めることを知っていました。 1年生の宿題がこれほどわかりにくいものだったら、彼は、あるいは他の子供たちは、どうやってテストを理解すればよいのか、本当に心配でした。私はシビックハッカーたちと時間を過ごしていました。シビックハッカーとは、ソフトウェアを構築して政府のデータを楽しみながら解析するような人々で、私が利用していた人気の SAT 準備コースから派生した、試験に勝つ戦略を考え出すことができるかどうか試してみることにしました。教えること。
要するに、私は私の州の標準テストであるペンシルベニア学校評価システム (PSSA) の 3 年生に挑戦しようとしました。私はプロの開発者のチームとともに、利用可能なデータを処理する人工知能ソフトウェアを設計しました。先生たちと話しました。学生たちと話しました。私は学校を訪問し、学校改革委員会の会議に出席しました。
これを 6 か月続けた後、このテストはゲームで実行できることがわかりました。それは、テストに勝つ戦略ではなく、答えが載っている教科書を読むという、驚くほどローテクな戦略によるものです。
フィラデルフィアは全米で 8 番目に大きな学区であり、その公立生徒は圧倒的に貧困であり、その 79% は無料または割引価格で昼食を食べる資格があります。の高校卒業率わずか64%であり、熟練以上のスコアを獲得できた生徒は半数未満でした2013 PSSA について。
フィラデルフィアの学校に問題が存在する場合、それは通常、全国の大都市の他の学校にも存在します。ニューヨーク、ワシントン DC、シカゴ、ロサンゼルス、その他の大都市の学区に共通する問題の 1 つは、多くの学校に本を購入するための十分な資金がないことです。最近のフィラデルフィア学区ツイートした20万ドルを配るマイケル・ナッター市長の写真寄付したK-3 の生徒向けの本。残念ながら、子供たちに古典的な文学作品を紹介しても、ひどいテストの点数は上がりません。
共通テストは一般知識に基づいていないからです。調査の過程でわかったことですが、それらは特定の書籍、つまりテスト作成者によって作成された教科書に含まれる特定の知識に基づいています。
これらすべてはテストの経済性に関係しています。全国の標準化されたテストは、CTB マグロウ ヒル、ホートン ミフリン ハーコート、またはピアソンの 3 社のいずれかによって提供されています。これらの企業は、テストを作成し、テストを採点し、学生がテストの準備に使用する書籍を出版します。によると、ホートン・ミフリンの市場シェアは 38% です。プレス材料。 2013 年、同社は 13 億 8,000 万ドルの収益をもたらしました。
ペンシルベニア州は現在、PSSA を格付けするために Data Recognition Corporation (DRC) と呼ばれる会社と数百万ドルの契約を結んでいます。 DRC はマグロウヒルと協力し、コンソーシアム同社は、国内の残りの地域向けに標準化されたテストの作成と採点を行う1億8,600万ドルの連邦契約を結んでいる。一方、マグロウヒル氏は、学校が生徒をテストに備えるために購入する本やカリキュラムも執筆している。 Everyday Math は、フィラデルフィアの幼稚園から 5 年生までのほとんどの公立学校で使用されているブランドカリキュラムで、McGraw Hill によって発行されています。
簡単に言うと、生徒にテストに合格してもらいたい教師は、大手 3 社の出版社から本を出さなければなりません。これらの会社の教科書を見て、同じ会社が作成した共通テストを見ると、3 年生でも、テストの問題の多くがその本の問題と似ていることがわかります。実際、ピアソン氏は昨年、標準化されたテストで以下の一節を使用したことで批判を浴びた。ピアソンの教科書からそのまま引用。
この問題は、事実や数字と同じくらい言葉遣いにも関係していることがよくあります。 2009 年の PSSA のこの問題を考えてみましょう。この問題は、3 年生に 3 桁の偶数を書き、その答えにどのように到達したかを説明するよう求めました。以下は正しい答えの例です。テストサプリメントペンシルベニア州教育省が発表したもの：
クレジット：
以下は、生徒が 2 ポイントではなく 1 ポイントだけを獲得した、部分的に正しい解答の例です。
クレジット：
この 2 番目の答えは正しいのですが、3 年生には、なぜそれが正しいのかを説明するための具体的な概念的基礎が不足していました。毎日の算数のカリキュラムではこの理論的根拠が詳しく説明されており、3 年生の学習指導書では、教師が生徒にそれについて訓練するよう指示しています。本当ですか？」教科書のない 3 年生は、偶数と奇数の違いを学ぶことはできますが、テスト作成者がその違いをどのように説明したいのかを推測するのは難しいでしょう。
本を割り当てて、それを購入するかどうかを生徒に任せるだけの大学教授とは異なり、幼稚園から高校までの教師は生徒に本を提供する必要があります。しかし、各科目ごとに生徒ごとに 1 冊の本を注文するという単純な問題ではありません。私が訪問した学校と私がインタビューした教師によると、各生徒にはクラスごとに少なくとも 1 冊の教科書と 1 冊のワークブックが必要で、さらに教師がさまざまな Web サイトから取得した大量のワークシートやプロジェクトが必要です (バインダー クリップ、画用紙、ハサミは言うまでもなく、他のプロジェクトベースのマテリアル)。本は毎年再利用できるが、それは州の基準が変更されていない場合に限り、少なくとも過去10年間は毎年この基準が適用されている。
教科書と共通テストの成功との間に直接的な関係があることに気づいてから、フィラデルフィアの学校の中で三大出版社の本が不足している学校が何校あるかを正確に調べようとしました。不足分を補うのにどれくらいのお金がかかるのかも気になりました。
最初の課題は、フィラデルフィア学区に、どの学校でどのカリキュラムが使用されているかのリストを求めたときに起こりました。どの本を学校に置くべきかを知りたい場合は、その学校が使用するカリキュラムの名前を知る必要があります。 (Everyday Math のようなブランド化されたカリキュラムを使用すると、学校はより効率的に注文し、一括割引を交渉できるようになります。)
「そのリストはありません」とフィラデルフィアのカリキュラム開発局の管理者は私に言いました。 「それは存在しません。」
「各学校がどのようなカリキュラムを使用しているかをどうやって知ることができますか?」私は尋ねた。
「そうではありません。」
電話では一瞬沈黙が続いた。
「学校に必要な本がすべて揃っているかどうかはどうやってわかりますか?」
「そうではありません。」
地区別ポリシー, すべての学校は、教科書保管システムと呼ばれる集中データベースに書籍の在庫を記録することになっています。 「教科書保管システム内の書籍のリストを提供していただければ、それをリバースエンジニアリングして、各学校がどのカリキュラムを使用しているかのリストを作成できます」と私はカリキュラム担当官に言いました。
"本当に？"彼女は言いました。 「それは素晴らしいですね。そんなことができるとは知りませんでした！」
そこで私は、このような状況でコンピュータープログラマーが行うことと同じことを行い、回避策を作成しました。私プログラムを構築したフィラデルフィアの各公立学校を調査し、学校にある本の数が生徒の数と等しいかどうかを確認します。分析の結果はあまり良くありませんでした。の平均的な学校ではわずか 27% でした学区が推奨するカリキュラムに含まれる書籍の一部。独自の記録によると、少なくとも10校には本がまったくなかった。絶望的に時代遅れの本を持っていた人もいた。
私はこれらの学校のいくつかを訪問し、生徒たちに教科書へのアクセスがどの程度あるのかを尋ねました。フィラデルフィアの公立学校を卒業したばかりのデビッドさんは、「私の高校には本がありましたが、1980年代のものだったと思います」と語った。公立高校の３年生は、歴史教科書の各ページに睾丸の絵が描かれていると私に苦情を言いました。
2013年9月9日、フィラデルフィアのサウス・フィラデルフィア高校で初日に転校する生徒たち。 クレジット: マット・ローク
私が南フィラデルフィアのマグネットスクール、アカデミー・アット・パルンボの代数学のクラスを訪れたとき、数学教師のブライアン・コーエンは、私が提示した情報に驚いたようだった。パルンボ氏の記録によると、同校はホートン・ミフリン出版の本「Fast Track to a 5: Preparing for the AB and BC Calculus Exams」を利用していたことが判明した。ただし、システム内の本の数量は「0」と表示されます。
「それは奇妙だ」私が代数 I の授業に参加した後、コーエンは言った。 「なぜコピーがゼロと表示されるのかわかりません。」そのブランドのカリキュラムは選択されたものの、注文されなかったのでしょうか?それとも、本は注文されたものの、途中で盗まれてしまったのでしょうか?
本棚を見に行ってもいいですかと尋ねると、コーエンは私を廊下に連れて行きました。途中、私たちは微積分を教えている彼の同僚と雑談するために立ち寄りました。 「本は足りていますか？」コーエンは尋ねた。
「今はそうなんです」と彼女は言った。 「西フィラデルフィアのある学校が閉校になり、そこから教科書をすべて手に入れることができました。私をつないでくれる友人がいました。」しかし、彼女は 5 時までのファストトラックを使用していませんでした。彼女は私の記録用紙に載っていない別の微積分の本を持っていました。
都市部の教師は一種の地下経済を持っているとコーエン氏は説明した。一部の教師は、生徒のために本や書類、机を手に入れるために奔走して交渉します。彼らは余暇をランニングに費やしますキャンペーンDonorsChoose.org のような募金サイトで活動しており、他の学校から入手できる資料がないか常に目を光らせています。フィラデルフィアの教師は、毎年平均 300 ドルから 1,000 ドルの私費を次のことに費やしています。補足フィラデルフィア教師連盟によると、教室の必需品に年間100ドルの予算を費やしているという。調査。
コーエンと私は数学科の「ブッククローゼット」に到着しましたが、そこは実際には鍵のかかった誰もいない数学科委員長のオフィスのほんの一角にありました。 「ここに余った本を保管しています」と彼は、2 つの背の低い木製の本棚を指差しながら言った。フラップが開いた中型の箱が床に置かれていました。コーエンは中を覗いた。 「そうですね、AP Calculus の本を見つけました」と彼は言いました。箱には『Fast Track to 5』の新品が入っていました。
この不具合を集中コンピュータ システムの欠如のせいにするのは簡単でしょう。唯一の問題は、そのようなコンピューター システムが実際に存在し、私はそこからのプリントアウトを見ていたことです。印刷物にはパルンボにはこの本がゼロ冊しかないと書かれていたが、鍵のかかったオフィスの床に置かれた箱の中に24冊の本が私の目の前に置かれていた。
フィラデルフィアの学校が抱えている問題は教科書だけではありません。彼らはデータの問題を抱えていますが、それは実際には人の問題です。私たちはデータを不変の真実であると考える傾向があります。しかし、データとデータ収集システムは人間によって作成されるということを私たちは忘れています。生身の人間は学校の本を数え、その数値をデータベースに入力する必要があります。通常、これらの人間は事務補助者または教師の助手です。しかし、過去数年間にわたる州の財政支出の大幅な削減により、学区の管理職員の人員削減が行われている。たとえ最高のデータ収集システムであっても、それを管理できる人がいなければ役に立ちません。
マンハッタン大学の財務担当副学長兼最高財務責任者であり、フィラデルフィア学区の元最高財務責任者であるマイケル・マッシュ氏は、過重労働の校長ができない簿記やその他の仕事をさせるために、定期的にスタッフを学校に派遣していたと語った。扱いません。 「校長たちは現金口座や生徒口座の管理が苦手だった。人員が不足していたので、管理機能を遂行するにはサポートが必要だった」とマシュ氏は語った。 「校長がすべての保護者と会わず、あらゆる危機に対処しなければ、批判されるでしょう。書類作成などの目に見えないことをしなければ、新聞でそのことを読まないだろう。だから彼らは批判されるのです」トリアージ。」
本の不足に関しては、フィラデルフィアの校長らは予想通りの反応を示す。ジェンクス小学校の2年生と4年生の保護者であるレベッカ・ドントさんは、「彼らは教科書に対して非常に独占欲が強い」と語った。 「娘は教科書をなくしたくないので、家に教科書を持ち帰ることを許可されていません。」過去 2 年間、彼女は教師たちにアンケートをとって欲しいものリスト (主に商業書籍や基本的な学用品) に載っているものを調べ、コミュニティから寄付を集めてきました。 「昨年初めてやったとき、校長は『ああ、そういうものはあるよ』と言った」とドント氏は語った。パルンボの AP 微積分の本と同様、紛失したアイテムは学校のどこかに眠っていましたが、適切な手に渡っていませんでした。 「備品庫や図書館にある備品を教室の教師につなぐための十分な支援がありません」とドント氏は語った。 「彼らは点と点を結ぶのに十分な資金を持っている必要がある。」
供給品を追跡することが問題の 1 つです。それらを使用する生徒を追跡することは、まったく別の課題です。フィラデルフィアの学校では、多くの生徒が児童養護施設に預けられているか、その他の不安定な生活状況を経験しているため、頻繁に学校を転校します。あ最近の報告フィラデルフィア小児病院の調査によると、フィラデルフィアの公立高校生の 5 人に 1 人が児童福祉または少年司法制度に参加していることが判明しました。ある教師は、ウェスト・フィラデルフィアの高校で教えていたとき、少なくとも 2 週間ごとに生徒が増えたり減ったりしたと語った。
「これほど大きな地区には、米国のほとんどの地区が直面していない一連の物流上の問題がある」と子供と青少年のための公共市民団体の事務局長ドナ・クーパー氏は説明する。 「すべては見た目どおりではありません。」
2013 年に最初のデータ分析を終えた後、私は学区に行き、フィラデルフィアの教育長ウィリアム・ハイトに調査結果を発表するよう依頼しました。学区の広報担当者は、ハイトは対応できないと言い、その代わりに学校支援サービス局の代理であるスティーブン・スペンスとの面談を提案してくれました。
スペンスさんは60代前半の元体育教師で、学校の開校と閉校を担当していた。以前は彼の仕事はスタッフ全員で処理されていましたが、人員削減以降、スペンス氏は机からカーペットに至るまですべてを独力で担当していました。
私は彼に、毎年の初めに学校に十分な量の本があることをどのように確認したか尋ねました。同氏は、すべての校長が開校チェックリストと閉校チェックリストを提出することになっていると説明した。そのチェックリスト (彼がすべての校長に電子メールで送信した Microsoft Word 文書) には、学校が運営に必要な書籍がすべて揃っていることを示すために校長がチェックを入れることができるボックスがありました。
「在庫は本社レベルでは細かく管理されていない」とスペンス氏は言う。 「テクノロジーに非常に優れたスキルを持つ校長は、オンラインで保管する在庫システムを開発するかもしれません。テクノロジーにあまり詳しくない校長は、本を数えたり、ある場所から別の場所に本を運んだり、本を置いたりするだけの担当者を置くかもしれません。クローゼットにあることを目視で確認します。」
数年前に地区全体の電子システムが構築されたので、これについて疑問に思いました。 2009年、フィラデルフィアの学校改革委員会の会合で一人の生徒が立ち上がり、「私は本を持っていない」と宣言した。その後、アーリーン・アッカーマン教育長は地区の在庫をコンピューター化することを決意した。最高情報責任者のメラニー・ハリス氏は、このシステムは内部リソースを使用して開発されたと私に語った。
「オンラインシステムはもう使われていないということですか？」スペンスさんに聞いてみた。
同氏によると、校長らは独自のシステムを使用し、在庫を同氏に報告することを好んだという。 「私は校長たちと、リアルタイムのデータに頼っています。データは、以前話した開校チェックリストと閉校チェックリストという文書を通じて追跡されます。」
スペンスは校長のチェックリストを受け取ると、その情報をコンピューター上の Excel スプレッドシートに入力します。
「この Excel ドキュメントは誰かと共有されますか?」私は尋ねた。
「それは警視補と共有される」とスペンス氏は語った。 「私たちは会議をしています。開校式の会議では、大きなスクリーンのプロジェクターに Excel スプレッドシートを映します。」
データサイエンスの専門家として、スペンス氏のことが頭から離れないことは明らかでした。何百万冊もの本、何十万もの机、テクノロジーとそれらを追跡するための十分な人材がなければ、これらすべての物体を追跡することは不可能です。データを正しく使用する方法を理解するのも同様に困難です。
最終的な結果は、フィラデルフィアの数字が単純に合わないということです。を考慮してください。ティルデン中学校の8年生フィラデルフィア南西部にある。学区の記録によると、ティルデンさんはホートン・ミフリン出版の「Elements of Literature」と呼ばれる読書カリキュラムを利用している。 2012 年から 2013 年にかけて、ティルデンには 8 年生の生徒が 117 人いましたが、(明らかに欠陥がある) 地区目録システムによると、8 年生用の読解用教科書は 42 冊しかありませんでした。ティルデンの 8 年生のほとんどは州の標準テストに不合格でした。平均読解点は 29.4% だったのに対し、学区全体では 57.9% でした。
問題の 1 つは、これらの学生が何を必要としているのか、そして実際に何を持っているのかを誰も追跡していないことです。もう一つの問題は、教育予算が少なすぎることです。 『Elements of Literature』教科書の価格は 114.75 ドルです。しかし、2012 年から 2013 年にかけて、ティルデン (フィラデルフィアの他の中学校と同様) では、書籍の購入に生徒 1 人あたり 30.30 ドルしか割り当てられていませんでした。その金額は、教科書 1 冊の価格のわずか 4 分の 1 であり、すべての科目をカバーできるはずでした。一つだけではありません。私自身の計算平均的なフィラデルフィアの学校には、2012 年から 2013 年のカリキュラムを教えるために必要な書籍の 27% しかなく、学校が必要とする書籍をすべて揃えるには 6,800 万ドルかかることが示されています。学区は教科書の使用に関する包括的なデータを収集していないため、この計算は過大評価である可能性がありますが、かなりの過小評価である可能性が高くなります。
2012 年から 2013 年の学年度の終わりに、図書予算は完全に廃止されました。昨年6月、2001年にフィラデルフィアの教育委員会に代わって発足した州立学校改革委員会は、「終末の予算」この金額は、2014 会計年度の学区運営費を 3 億ドル下回りました。 （ペンシルベニア州知事はすでにカット2011 年には公教育資金から約 10 億ドルが支払われました。) フィラデルフィアの学校では、教科書代として生徒 1 人当たり 0 ドルが割り当てられました。 2015 年度予算でも同様に書籍への資金提供はありません。
