habuは、プラグインを組み合わせることでRSSを加工して再配信するためのソフトウェアです。簡単に言っちゃえば，Plaggerもどきです。
habuは沖縄の毒蛇の「ハブ」です。沖縄が好きだという以外に、名前の由来にあまり意味はありません。
* 「habu」 - Python版PlaggerでRSSを加工する
* Python Unconference 01 ライトニングトーク発表資料 (2007/12/12)
使用するプラグインによっては追加のモジュールが必用です。
リリースファイルから最新のパッケージをダウンロード後，
$ tar zxvf habu-バージョン番号.tgz
を実行して展開します。実行は展開されたディレクトリで行ないます。
パッケージはバグが多いのでsubversionから使うのがよろしいかと・・・
$ svn checkout http://svn.sourceforge.jp/svnroot/pyhabu/trunk habu
を実行します。グラフィカルなSubversionクライアントはリポジトリのURLを指定すれば大丈夫でしょう。
現在はまだ開発版のため，setupスクリプトは用意していません。
wikiのドキュメントはほとんどがバージョン0.3用です。0.2では使用できない機能があります。
実行するには，tarボールを展開して作成されたhabuディレクトリに移動して，
$ python runhabu.py
を実行します。runhabu.pyは
python runhabu.py [設定ファイル]
という書式です。設定ファイルの指定を省略するとカレントディレクトリのhabu.cfgが使用されます。コマンドラインの詳細は、「コマンド使用方法」を参照してください。 配布ファイルに含まれているhabu.cfgは次のようになっています。
global:
timezone: Asia/Tokyo
log: stdout
pipeline:
rss_fetcher:
- module: subscription.config
config:
feed:
- http://www.liris.org/blog/RSS
- http://dev.ariel-networks.com/Members/blog_update/RSS
- module: filter.join
- module: filter.sort
config:
reverse: True
- module: publisher.rssfeeder
config:
file: "out.rss"
設定ファイルはyaml形式です。設定ファイルの詳細は「設定ファイル」を参照してください。python runhabu.pyを実行すると設定ファイルに指定された二つのRSSを取得して，カレントディレクトリにout.rssと言うRSSファイルを出力します。moduleでフィルタすることで，RSSをさらに加工することができます。フィルタについては「プラグイン一覧」を参照してください。
プラグインの作成方法は「プラグインの作成方法」を参照してください。
また，設定ファイルにschedulerを指定することで，プラグインをデーモンとして起動できます。詳細は，「設定ファイル」と「デーモンとして動作」を参照してください。
pyhabu-plugins 野良プラグインを集めたサイト。
liris: Days of Liris
]]>* 「habu」 - Python版PlaggerでRSSを加工する
* Python Unconference 01 ライトニングトーク発表資料 (2007/12/12)
]]>次期バージョンは0.4です。
予定日: 未定
* kidまたはgenshi、zptを使いたい * 現状の文字列生成でもよい？
コマンドラインの機能を増やす。
RSSの取得，生成を行なうプラグインです。基本的にはすべてのpipelineはsubscription内のモジュールから開始されます。
RSSファイルを取得します。
サブモジュールを指定できます。サブモジュールを指定すると、RSSファイルだけでなく、ほかのモジュールを使用してRSSに変換できます。例えば、サブモジュールにmixidiaryを指定することで、このモジュールの中でmixidiaryも同時に扱えます。
例：
- module: subscription.config
config:
feed:
- http://www.liris.org/blog/RSS
- http://dev.ariel-networks.com/Members/blog_update/RSS
sub-modules:
- module: subscription.mixidiary
config:
userid: mixiuserid
password: mixipassword
HTMLファイルを取得してパースし，RSSに変換するプラグインです。
HyperEstraierで全文検索して、RSSに変換するプラグインです。
メールサーバ(POP3)からメールを取得して，RSSにします。
* author: RSSの各エントリにつけられる作成者の名前です。省略すると「habu」になります。
mixiの「マイミクシィ最新日記 」からデータを抜き出してRSSとして処理するためのプラグインです。
テスト用です。気にしないでください。
filterでは主に取得したRSSの加工を行ないます。
時刻フォーマットの修正，正規化をします。日付がない初めて取得したエントリに現在時間を挿入します。以前取得したことのある日付のないエントリには，以前取得したときの時刻が挿入されます。取得日時の情報はオンメモリー，または，SQLObjectのデータベースに保存します。
* time_offset: タイムゾーンが設定されていない場合の日時表記で、時間のオフセットを数値で指定します。デフォルトでは0で、日本では9のはず。
エントリの中を検索して，一致するものだけ、または、一致しないものだけを削除します。
COREBlog2のmoblogのフォーマットに一致しないものを削除します。フォーマットはsummaryが次のようになっています。プラグインを通すと，blogに掲載する本文だけになります。
更新用パスワード 本文
各エントリのタイトルをカスタマイズします。
formatでフォーマットを指定します。entriesの各エントリのキーを指定できます。フィードのタイトル、リンクはそれぞれ、feed.title、feed.linkで指定できます。「エントリのタイトル - フィードのタイトル」にフォーマットしたい場合は、次のように記述します。
- module: format_title
config:
format: "%(title)s - %(feed.title)s"
エントリの順番を並び替えます。
重複したエントリを削除します。
エントリを範囲指定して抜き出します。
Pythonの構文の entries[start:end] に対応します。
最初のエントリだけを抜き出します。
habuでは一つのパイプライン(フィルタチェーン)を並列に処理できます。並列に処理されているものを，一つのスレッドに戻すためのプラグインです。
エントリの並び順を反転します。
文字列置換します。
配列で次のデータを指定します。
RSSファイルを開いて，チェーンに流れてきたデータに追加します。
初めて取得したエントリだけにフィルタリングするためのプラグインです。取得したかどうかのデータはメモリ上に保存することもできますが，設定でpathを指定してdbmに保存することをお勧めします。
テスト用です。気にしないでください。
主にファイルやデータベース、全文検索エンジンへの登録などの外部への出力を目的としたプラグインです。出力を複数組み合わせることもできます。
RSSファイルを指定したディレクトリに作成します。既にファイルが存在する場合は上書きされます。既存のRSSファイルに追加したい場合は，filter.rssloadを行なってから書き込むようにしてください。
各エントリをHyperEstraierの全文検索インデックスに登録するためのプラグインです。エントリのタイトルとサマリー、エントリへのURLをHyperEstraierに登録します。
habuのデータベースにデータを保存できます。
自家製blogシステムのエントリ更新用です。気にしないでください。
そのうちCOREBlog2用エントリ更新ツールも作ります。
テスト用です。気にしないでください。
テスト用です。気にしないでください。
]]>設定ファイルはYAML形式で記述します。YAMLの詳細は、PyYAMLのサイト、または、WikiPediaを参照してください。
設定ファイルは大きく4つのセクションで構成されています。
globalセクションでは，habu全体の設定をします。ここではログ出力設定や、複数のプラグインでの共通の設定を行ないます。現在利用できる設定は，logの設定とプラグインのパスの設定です。
logでログの出力先を指定します。出力先に指定でstdoutで標準出力に，stderrで標準エラーにログを出力します。nullを指定するとログ出力を抑制します。ファイルパスを指定すると，指定したファイルにログを出力します。ログをファイルに出力するように指定した場合，自動的に日付ごとにログローテートします。
loglevelを指定することで，ログ出力を制御できます。値は数字，または、次の文字列です。数値の場合は，値が大きいほど、より詳細なログが出力できます。文字列での指定は，DEBUGがもっとも詳細な出力で，NONEは殆ど出力されません。
global: log: stdout loglevel: INFO
プラグインのパスは任意の場所（パス）を指定できます。追加のプラグインの場所はplugin_pathで指定します。plugin_pathの値は配列で、複数指定することができます。プラグインのロード順は、
です。
global:
plugin_path:
- /plugin/path/1
- /plugin/path/2
プロキシを指定できます。指定しない場合は，直接インターネットに接続します。proxy_hostでプロキシのホスト名、または，IPアドレスを指定します。proxy_portで、プロキシのポート番号を指定します。proxy_portを指定しない場合は，80番が使用されます。
global: proxy_host: myproxy.host.name proxy_port: 3128
オプションでhabuで使用するデータベースをdburiで指定できます。データベースに接続するためにはSQLObjectを使用します。dburiはSQLObjectのデータベースのURIでの指定方法で指定します。%(current_dir_uri)sはカレントディレクトリのパスに置換されます。
SQLObjectが使用するデータベースは使用できますが、sqliteを推奨します。
データベースを設定すると、publisher.dbstoreプラグインが使用できるようになります。また、Webサーバ機能でplanetモジュールが使用できます。
scheduleセクションを指定すると，habuをデーモンとして常駐させて，指定したスケジューリングに従って，定期実行できます。この仕様は将来変更するかも知れません。
scheduler:
- pipeline: mypipeline
expression: "* * * * *"
指定方法は，piplelineごとにcronライクなスケジュール指定を行ないます。具体的には，scheduleは配列です。各配列の要素はpipelineとexpressionになります。pipelineは実行したい処理になります。expressionで、実行スケジュールを指定します。expressionでは，空白区切りで，実行する分，時間，日，月，曜日になります。「*」は、毎Xと言う意味になります。「* * * * *」と記述することで，一分ごとに実行できます。また，「*/1- * * * *」と記述すると10分ごとに実行することができます。
実行スケジュールにhourly, dairy, weekly, monthlyを指定すると，それぞれ，一時間ごと、毎日，一週間ごと，毎月の意味になります。これは，単純なエイリアスです。
| エイリアス名 | 実際の値 | 意味 |
| hourly | 0 * * * * | 毎時 |
| daily | 0 2 * * * | 毎日 |
| weekly | 0 0 0 0 1 | 一週間ごと |
| monthly | 0 0 1 * * | 毎月 |
RSSの配布サイトごとに別のフィルタを通すことで、RSSの加工方法を変更したい場合があります。その場合、設定ファイルを複数に分割して、複数のプロセスで処理することもできます。PlaggerやPRaggerはこの方式で動作します。habuも同じように動作させることもできますが、一つのプロセス内で複数の加工方法を同時並行で処理できます。一つの一連のフィルタ(フィルタチェーン)の組み合わせをpipelineと呼んでいます。例えば、pipeline Aでは、RSSを取得後、「python」という単語があるエントリだけを抜き出してRSSを再配信し、pipleline BではすべてのRSSのエントリのRSSを取得することができます。最終的にpipeline Aとpipeline BのRSSを一つのRSSにまとめあげることも、別のRSSとして読むこともできます。
pipeline:
rss_fetcher:
- module: subscription.config
config:
feed:
- http://www.liris.org/blog/RSS
- http://dev.ariel-networks.com/Members/blog_update/RSS
sub-modules:
- module: subscription.mixidiary
config:
userid: mixiuserid
password: mixipassword
- module: filter.join
- module: filter.sort
config:
reverse: True
- module: publisher.rssfeeder
config:
file: "out.rss"
pipelineセクションの中は辞書になっています。キーに各pipelineの名前をしていします。上の例ではrss_fetcherです。この名前はpipelineセクションの中でユニークでなければなりません。値としては、プラグインの配列になります。プラグインはインスタンス化された後に上から順次、実行されます。
プラグインの設定はmoduleとconfig、sub-modules, urlから構成されます。moduleはプラグインの名前(プラグインのモジュール名)です。moduleはプラグインのモジュール名です。configは各プラグインごとに固有の設定です。configの詳細は、「プラグイン一覧」の各項目を参照してください。urlはもし、プラグインパス上にモジュールが見つからなかった場合、指定したURLから自動でプラグインをダウンロードします。URLを指定せずに、プラグインパス上にモジュールが見つからない場合は、エラーを出力してプログラムを終了します。
sub-modulesはプラグインの中にプラグインを入れ子にするための機能です。subscription.configプラグインは、RSSフィードを取得しますが、サブモジュールとしてsubscription.mixidiaryを指定することで、同時にmixiのお友達の日記も同時に取得することができます。sub-modulesは配列で、複数のプラグインを指定できます。指定方法はpipelineの各モジュールの指定方法と同じです。sub-modulesに複数指定してもチェーンになりません。
sub-modulesの機能はオプショナルで、現在sub-modulesをサポートしているプラグインは次のものです。
moduleの名前は「.」で区切られ、標準のプラグインはsubscription.*, filter.* publisher.*です。それぞれはカテゴリ分けされていますが、これはプラグインの機能を把握しやすくするために分けています。機能的な差異はほとんどありません。
habuのサーバ機能を設定します。serverセクションは辞書で，キーにサーバの種類，値にサーバの設定を記述します。現在利用できるサーバ機能はwebです。
サーバ機能を利用するためには，パーソナルファイアウォールなどの設定を見直す必用があるかも知れません。
configにwebサーバとしての基本設定，resourceにwebサーバの個別の機能を設定します。
configの値は辞書です。portにサーバを起動するときのポート番号、interfaceにサーバを起動するときのアドレスを入力します。interfaceはオプションで，指定しない場合は，localhostになります。0.0.0.0を指定すると，外部PCからアクセスできます。
resourceの値は配列です。Webサーバのルートパスの直下に配置されます。各要素は，辞書で最低，次の二つの要素を持つ必用があります。
上記の二つ以外は、module固有の設定です。
静的ファイルをフィードします。pathにフィードしたいファイルへのパスを指定します。ディレクトリを指定した場合は，そのディレクトリ以下のファイルがすべてフィードされます。
Web UIからHyperEstraierに全文検索し，RSS出力します。nodeで全文検索するHyperEstraierのノードへのURLを指定します。userid,passwordでそれぞれユーザID、パスワードを指定します。省略すると，admin,adminにそれぞれなります。 これを利用するためには，hyperestraier pure python版0.10.0以降が必用です。
データベースから更新上を取得してRSSをフィードするPlanet機能を提供します。現状はRSSを直接フィードするだけです。
titleにRSSのタイトルを指定します。urlはこのPlanet機能へのリンクです。省略するとそれぞれ、「Habu Planet」「http://localhost/」になります。
rangeで表示する日数を指定します。sizeで表示する最大サイズを指定します。データベースから取得したデータでrangeとsizeで少ない方の数だけフィードします。rangeは省略すると7日間になります。sizeは省略すると０になります。0は無制限を意味します。
]]>コマンドの使用法は、
$ python runhabu.py [オプション] [設定ファイル]
です。
設定ファイルは、使用する設定ファイル(YAML形式)を指定します。設定ファイルは省略可能で、省略すると可憐度ディレクトリのhabu.cfgを使用します。設定ファイルが見つからない場合は、エラーが出力してプログラムを終了します。
設定ファイルにschedulerが指定されている場合は、スケジューラモード(デーモンモード)で動作します。指定がない場合は、タスクモードで動作します。
ヘルプ(コマンドの使用方法)を出力してプログラムを終了します。
バージョン情報を表示して、プログラムを終了します。
設定ファイルに複数のpipelineを記述している場合、指定したパイプライン(TARGET_PIPELINE)だけを実行します。指定したパイプラインが見つからない場合はエラーを出力して終了します。
設定ファイルにschedulerが指定されている場合(スケジューラモード)は、プログラムは常駐しますが、ターゲットが指定されている場合はプログラムは常駐しません(タスクモードで動作します)。
追加のプラグインのディレクトリを指定します。プラグインのロード順は、
です。
設定ファイルにモジュールのURLが指定されいて，プラグインパス上にモジュールが見つからない場合，Webからモジュールを自動ダウンロードできるようになります。これを指定しない時は，ネットワーク上を検索セスにエラーがで終了します。
設定ファイルにserverセクションがある場合でもサーバ機能を強制的に無効にします。
モジュールをインターネットからダウンロードするときのベースURLです。--download-moduleとあわせて使用します。ダウンロードしたモジュールは--plugin-pathで一番最初に指定したディレクトリに保存されます。--plugin-pathが指定されていない場合は、カレントディレクトリに保存します。
モジュールをインターネットからダウンロードするときのモジュール名です。--download-urlとあわせて使用します。--downlaod-urlが指定されていない場合は、「http://svn.sourceforge.jp/svnroot/pyhabu/trunk/habu」を使用します。ダウンロードしたモジュールは--plugin-pathで一番最初に指定したディレクトリに保存されます。--plugin-pathが指定されていない場合は、カレントディレクトリに保存します。
ログレベルを指定します。ログレベルの詳細は，「設定ファイル」を参照してください。
このオプションは設定ファイルの指定を上書きします。
ログを出力するファイルを指定します。stdoutで標準出力，stderrで標準エラーに出力します。
このオプションは設定ファイルの指定を上書きします。
プロキシの配下でhabuを動かす場合は，proxy-hostを指定します。IPまたは，FQANで指定します。
このオプションは設定ファイルの指定を上書きします。
プロキシの配下でhabuを動かす場合は，proxy-hostに加えてproxy-portを指定します。指定しない場合は，80になります。
このオプションは設定ファイルの指定を上書きします。
pidファイルを指定したパスに出力します。この機能は，デーモンモードで動作している場合に有効です。
「設定ファル」を参照してください。
]]>将来、プラグインの作成方法が変更するかもしれません
プラグインはPythonプログラムです。特殊な機能を使わない限りhabuに依存しないので単体テストが簡単にできます(ただし、Twistedに深く依存すると単体テストはかんばってね)。また、habuとは関係なく動作させることもできます。
habuの配布物に含まれているhabu/filter/head.pyを例に説明します。次のコードは、head.pyの全文です。
class Head(object):
def __init__(self, config, environ):
self.start = config.get("start", None)
self.end = config.get("end", None)
def execute(self, content):
content["entries"] = content["entries"][self.start:self.end]
return content
def create(config, environ):
return Head(config, environ)
各プラグインモジュールは必ずcreate(config, environ)関数を実装する必要があります。habuがモジュールをロードした後にcreate関数を実行して、インスタンス化します。configはプラグイン固有の設定の辞書です。environはhabuの環境全体にわたる設定情報の辞書です。environは設定ファイルのglobalセクションに対応します。create関数はexecute(content)メソッドを実装したオブジェクトを返します。executeメソッドが定義されたオブジェクトであれば、モジュールでもクラスインスタンスでも構いません。
create関数の名前は変えるかもしれません。 いや、多分もうちょっとかっこいい名前に変えるはず。
Headクラスは通常、コンストラクタにconfig, environを引数に指定した形で実装します。必要に応じてクラスメンバーとして保存します。ここでは、設定のstartとendを保持しています。
プラグインが実行されるときにはexecute(context)メソッドがコールされます。contextは入力データです。contextの詳細は後述します。ここでは、context["entries"]のリストの要素をstartからendまで抽出してcontextのオブジェクトに設定し直しています。返り値は、次のモジュールのexecuteメソッドの引数になります。
executeメソッドの返り値は、contextの辞書かtwisted.internet.defer.Deferredオブジェクト、または、それらのリストです。Deferredオブジェクトを返す場合は、非同期処理でデータを加工してからプラグインのチェーンを再開する場合に使用します。
基本的にはexecuteでcontextのデータを加工して、context自体を返すだけです。
executeメソッドの引き数に渡されるcontextはfeedparserがパースしたオブジェクトです。subscriptionではcontextは通常，Noneです。
contextは辞書です。contextはentriesをキーとしてリストを辞書の要素として持ちます。それ以外の情報は現在のhabuでは無視されます。
context["entries"]にRSSの各エントリが保存されます。各エントリは辞書です。エントリには次のキーと値が設定されています。
| キー | タイプ | 意味 |
| author | 文字列 | 作成者(オプション) |
| author_detail | 辞書 | 作成者の詳細。 nameにauthorと同じ値。emailとかにメールアドレスが設定されるかも |
| link | 文字列 | エントリへのアクセスするユニークな文字列(URL) |
| update | 文字列 | 最終更新日の文字列表記 |
| updated_parsed | タプル | 最終更新日の日時のタプル表記 |
| title | 文字列 | エントリのタイトル |
| summary | 文字列 | エントリの本文(description) |
| summary_detail | 辞書 | summaryの詳細の辞書 typeにmimeタイプ，valueにhtmlやtextでの本文など |
上記以外のフィールドもありますが，未使用です。上記のフィールド以外にもプラグインが独自にデータを追加できます。
モジュールの名前とモジュールへのパスは，一意であり、かつ、Python的にvalidでなければなりません。モジュールへのパスに上記以外の制約はありません。識別用にパイプラインの開始はsubscription、RSSの加工はfilter、出力はpublisherを推奨します。
モジュールはhabuが各パイプラインを実行する直前にロードします。モジュールは，habuのプロセス全体でユニークなります。ロード後にモジュールはリロードされることはありません。モジュールは，設定ファイルのmoduleに指定した名前で区別されます。その後，モジュールのcreate関数がコールされて，インスタンス化されます。同一のパイプラインで同じモジュールを複数指定している場合は，指定した数だけインスタンス化されます。インスタンス化されたオブジェクトは，パイプラインの実行期間中生きています。そのあとは，いつ死ぬかはPythonインタープリタに聞いてください。
パイプラインのモジュール（オブジェクト)のチェーンです。通常、一つのパイプラインは一つのチェーンです。executeがリストを返すと、チェーンは複数に分岐して同時並行でその後のそのあとのフィルタ処理を順次実行します。複数に分岐したチェーンはfilter.joinによってまた、一つのチェーンに集約できます。ネットワーク上のデータを取得する場合など、複数のチェーンに分割して、その後のフィルタ処理の実行タイミングをずらすことで、CPUの負荷をおさえることができます。また、データをふるい落とす処理をする場合など、若干メモリ使用量をおさえられます(ほとんど誤差の範囲なので気にしなくてもいいかもしれません)。
Twistedの使い方は、「最新Pythonエクスプローラ 」をご覧ください。
]]>A: 僕の気分次第です。マイナーバージョンは、ベースモジュールに機能を追加したらあげることが多いです。マイナーバージョンの下は、プラグインの変更とバグフィックスです。
]]>