オープンソース検索エンジンの必要性
さて、もう一つ野心的なプロジェクトがあります。それはフリーアクセス、検索エンジンプロジェクトです。昨年の12月末にWikia Searchについて世界中から多くの注目が集まりました。そして混乱も多くありました。Wikiaはウィキペディアとは完全に別の組織です。
さてWikia Searchの基本的なコンセプトですが、インターネット業界の構造について少し考えてみてください。もしオープンソースソフトウェアが存在しなければウェブサイトを構築するのに500万、1000万ドルかかってしまうかもしれません。オープンソースソフトウェア以外に頼らなければならないとしたらとても高くつくことになります。例えば、Apacheがなかったとしたら今日、インターネットはどうなっていたかを想像してみてください。ウェブにアクセスするための基本的なプラットフォームが完全にコントロールされていたとしたら……。
以前、AOLやCompuserveといったクローズドなオンラインンサービスがあり、大勢の人はそれらの中で最も速く大きなサービスになったものが市場を独占すると考えていました。ネットワーク効果によってです。もしも他の誰もがAOLに入っていたとしたら、他の人にアクセスするためにあなたもAOLに入会しなくてはいけません。私たちはとてもラッキーでした。当時存在していたこの問題は回避され、様々な企業がこの特別な時期にインターネットに携わり、その結果1社によってコントロールされていないオープンなプラットフォームが存在します。その大きな要素がオープンソースソフトウェアです。Linux、Apache、PHP、MySQL、これらのツール全てによって、人々がとても安くウェブサイトを構築できるようになりました。それによって、イノベーションの爆発が起こり、多くの情報がインターネット上を流れ、誰でもウェブサイトを簡単に始めることができ、言語を学び、新しいものを作ることができ、面白いものが生まれてくるのを目にしています。
同じようなことが百科事典の世界でも言えます。百科事典は、少数の重要な人によってコントロールされ、その結果とても高価なものでした。オープンソースのツールと、そのようなアイディアによってウィキペディアが生まれました。ご存じのとおり、フリーライセンスでオープンな百科事典です。
ですから私の考えは、同じことが検索においても言えないか？ということです。検索には今、次のような問題があります。検索にはメジャーなプレイヤーがいて、どのように運用しており、どのように情報を評価しているかは全て秘密です。私はそれは正しいとは思いません。ですからこの検索エンジンのプロジェクトは、インターネットがどのようにあるべきかという政治的メッセージが含まれています。Googleで検索をし、検索結果が返ってきますが、それがどのように評価されているのかはわかりません。私はそれが問題だと考えています。これはインターネットにおいて私たち全員がすぐに考慮しなければいけない社会問題です。
ですから私の提案は、完全に透明で、民主的にコントロールされたフリーオープンソースソフトェアの検索エンジンを作ることです。基本的な考えはLAMPを例にとって考えることです。LAMPと同じような考え方を検索エンジン業界に適用します。高品質な検索エンジンを構築するために必要な全てのパズルのピースについて考え、それらを分解し、それぞれが確実にフリーで、解析できるようにし、それぞれがコミュニケーションできるようにプロトコルを持たせます。検索結果を手にしたときに、それがどのように計算されて出たのかを分かるようにします。検索をしたときに結果をみて、それがどのような計算によって出ているかは、ほとんどの人は調べたりしないでしょう。ですが、調べることができるということが大事なのです。それは私たちが法律がどのように制定されているのか、どのように裁判の判決が下されているのかを知ることができるのと一緒です。たとえ毎日私たちが調べないとしても、それが出来ることが保証されているのが大事なのです。なぜなら何人かの人はそれを行うからです。
ウェブのクローリングも一般の人が使えるようにしたいと考えています。これはインフラ構築の一部です。もしもあなたが若く才能のあるプログラマで、新しい優れた検索エンジンを作るための素晴らしいアイディアを持っていたとしたら、自分だけでもいくらかコーディングが出来るでしょうが、ウェブをクロールするのはとても大変なことでしょう。それは巨大なインフラが必要な大プロジェクトです。ですから私たちは、人々がそれをフリーライセンスで使えるようにしたいのです。それによって私たちはマーケットの構造を急速に変えることができます。
オープンソース検索エンジンについて興味深いのは、そのようなプロジェクトはこれまで何度かあったのですが、誰もそれを保つことは出来ませんでした。砂の上に旗を立てて、「これが私たちがやることだ。これには助けが必要で、いろいろな組織と多くの人の働きが必要だ」と言ってきたのですが、今、私がその上に立って「これがやらなければいけないことなんです。これをしましょう」と言いたいと思います。