クレジット：
このソフトウェアは、たとえばソーシャル ネットワーク接続を使用した新しいレコメンデーション エンジンの設計など、多くの現代的なタスクに取り組む開発者に役立つ可能性があります。 「あなたの友達はこの映画が好きだったので、あなたはまだ見ていないが、おそらく気に入るであろう別の映画を紹介します」という効果的な推奨を行うためには、ソフトウェアがメンバー間のつながりを分析できなければなりません。ソーシャルネットワーク。
このタイプのタスクはグラフ計算と呼ばれ、ますます一般的になってきています。しかし、大規模なデータ セット (オンライン ソーシャル ネットワークなど) を操作するには、通常、Amazon のクラウドベースの EC2 サービスが提供するコンピューターなど、クラスター化された多数のコンピューターの処理能力が必要です。
GraphChi と呼ばれるこの新しいソフトウェアは、パーソナル コンピュータでますます一般的になりつつある大容量ハード ドライブを利用します。グラフは通常、分析のために一時メモリ (RAM) に保存されます。 GraphChi では、代わりにハード ドライブがこのタスクを実行します。
「PC には Web グラフ全体を保持するのに十分な RAM はありませんが、多くの情報を保持できるハード ドライブはあります。」と氏は言います。カルロス・ゲステリン、カーネギーメロン大学の共同ディレクターラボを選択してください、GraphChiが開発された場所。ただし、ハードドライブは RAM に比べてデータの読み取りと書き込みが遅いため、計算が遅くなる傾向があります。そこで、Guestrin 氏の学生である Aapo Kyrola 氏は、ハード ドライブにアクセスする、より高速でランダム性の低い方法を設計しました。
ゲストリン氏によると、GraphChi を実行する Mac Mini は、4,000 万人のユーザーと 12 億の接続を含む 2010 年の Twitter のソーシャル グラフをわずか 59 分で分析できるという。 「この問題に関して以前に公開された結果は、約 1,000 台のコンピューターからなるクラスターを使用して 400 分かかりました」とゲストリン氏は言います。
テクノロジーのネットワーク化が進み、データセットが大きくなるにつれて、グラフ計算は多くの分野でますます関連性が高まっている、と氏は述べています。デビッド・A・ベイダー、ジョージア工科大学のグラフ計算の専門家。 「人間の脳がどのように機能するかを理解しようとしたり、医療患者の記録を理解しようとしたりするには、グラフ コンピューティングが必要になります」と彼は言います。
Bader 氏は、GraphChi はまだ、時間の経過とともに関係がどのように変化するかを示すことで大規模なネットワークをより正確にモデル化する「ストリーミング グラフ」を処理できないと述べています。ジョージア工科大学のベイダー氏らは、大規模なストリーミング グラフを処理するスーパーコンピューター向けに最適化された、Stinger と呼ばれるグラフ計算フレームワークを作成しました。
「これらの問題の規模は明らかに拡大し続けるでしょう」とゲストリン氏は言います。ゲスリン氏のチームはすでに、GraphChi をストリーミング グラフに対応させる方法に取り組んでいます。しかし、GraphChi はクラウドベースのソリューションやスーパーコンピューターに頼ることなく、多くの大規模なグラフ コンピューティングの問題を効果的に処理できると彼は言います。
「計算生物学の研究者は、PC 上で大規模な計算を行うことができます。データセンターのアルゴリズムに取り組んでいる開発者は、クラウドにプッシュする前にラップトップでテストできます」とゲストリン氏は言います。 「現在、ビッグデータはどこにでもありますが、相対的に言えば、一部のビッグデータはかつてほど大きくありません。GraphChi のようなツールを使用すると、多くの企業や新興企業がグラフ コンピューティングのニーズをすべて 1 台のマシンで解決できるようになります。コスト効率が高く、それはイノベーションも促進します。」