米Facebookは10月24日（米国時間）、自社開発のログデータ収集サーバー技術「Scribe」のソースコードを公開した。大量データに対応するよう設計されているという。ライセンスは「Apache Licence 2.0」を採用、SourceForge.netのWebサイトでダウンロードできる。
Scribeは、Facebookが実際に自社インフラで利用しているログ収集システムで、多数のサーバーから寄せられるログデータをリアルタイムに収集する。ユーザー数の拡大に対応するため、自社開発したという。開発にあたり、Facebookがオープンソースとして公開している開発ツール「Thrift」を用いた。PHP、Python、C++、Javaなどのコードからログメッセージを収集できる。
特徴は拡張性と信頼性。クライアント側を変更せずに拡張が可能で、データセンター間でメッセージをやり取りする際のバッチ処理、ファンインレイヤの追加などの対策が容易に施せるという。スケーラビリティと信頼性のバランスを考慮して、データをディスクにスプールするがメッセージ毎のログファイル同期はしない、というアプローチで設計されており、ハードウェア障害時にはデータ損失の可能性があるが、ほとんどのログシステムより信頼性が高いという。
米Facebook
http://www.facebook.com
「Scribe」ダウンロード
http://sourceforge.net/projects/scribeserver/