米Yahoo!は6月29日（米国時間）、分散処理プラットフォーム「Apache Hadoop」に関連した最新技術「Hadoop with Security」と「Oozie」を発表した。Yahoo!は2つの技術をApache Software Foundation（ASF）に移管し、今後はオープンソースプロジェクトとして開発を進めていく。
Hadoopは、米Googleの「MapReduce」と「Google File System（GFS）」に着想を得てはじまったオープンソースプロジェクト。現在、ASFのトップレベルプロジェクトとして開発が進んでいる。Yahoo!はHadoopの最大の貢献者であり、最大の実装事例となっている。
Hadoop with Securityは、セキュリティにフォーカスしたもので強い認証が可能となる。オープンソースの認証プロトコル「Kerberos」を統合してロギング機能を強化した。これにより、安全なコラボレーションや認証データの共有が可能になるという。
Oozieは、Hadoop向けのワークフローエンジン。Hadoop with Securityと統合し、「Hadoop Distributed File System（HDFS）」「Pig」やMapReduceなど、Hadoop上のジョブを自動化・管理できる。Yahoo!社内でも、複雑なワークフローやデータパイプラインをグローバルに管理するのに用いているという。
両プロジェクトは今後、ASFの下でオープンソースとして公開され開発を進めていく。Yahoo!では、これらの最新技術によりHadoopの受け入れを加速したいとしている。
米Yahoo!
http://www.yahoo.com/
「Apache Hadoop」
http://hadoop.apache.org/