ビッグデータ分析、Hadoop活用の意外な落とし穴

ビッグデータがIT部門に付きつける課題

　ビッグデータに備えよう。自社のデータセンターがその大波にまだ襲われていなくても、襲われるのは時間の問題だ。そうなれば、ITインフラとオペレーションの新たな要件に対応しなければならなくなる。

　ビッグデータアナリティクスは、「eHarmony」のような結婚仲介サービスのWebサイトや、小売業者による顧客の購買行動予測、さらには医療機関による個人の寿命や疾病罹患の予測など、多種多様な用途で利用されている。こうしたデータ利用は、ジョージ・オーウェルの小説『1984年』で描かれた、ビッグブラザーが支配する監視社会を少し連想させるが、ビッグデータアナリティクスは、コンピューティングを利用して人間行動に解釈を加え、影響を与える方法に革命をもたらしている。

　ビッグデータとは単に「増大の一途をたどるデータ」を指すものではない。「大規模なデータセットを高速に処理し、複雑な、そして多くはリアルタイムの意思決定を支援する一連のプロセスと技術」を指すのである。米ベス・イスラエル・ディーコネス・メディカルセンター（BIDMC）のストレージアーキテクト、マイケル・パース氏は、「予測分析を利用して治療を向上させることは、今後の医療が目指すべき方向だ。何らかの予測をしたい場合、ビッグデータはいつでも大いに役立ちそうだ」と語る。

　明るい展望だ。しかし、ビッグデータ活用に携わる多くのIT担当者は、思わぬ壁に突き当たることになるだろう。