DapperCamp #1
スクレーピングサービスであるDapperのカンファレンス in SF。
せっかく今西海岸にいるので参加してみた。無料だし。
以下、カンファレンスの内容
Keynote
Mitch Kapor。Lotus Development Corp.のfounder。この人って有名？OpenKaporと関係あるの？
途中参加のためほとんど聞けず
How to Use Dapper
Dapper の使い方。以前使ったとき（たぶん１年以上前）よりはインターフェースは洗練されているけれども、基本は同じで、Dappするページを指定してクリックして要素を抜き出す。テキストフィールドはパラメータ化できる。皆が作ったDappをサーチできる。
質問で、HTML構造が変わったときにどう対処するか、というのがあったが、やっぱりユーザが再びDapperFactoryで再選択する必要があるそう（現時点では）。２つページを用意してそこからフェールオーバーさせるみたいな事はできるか（ここらへんは多分意訳）という質問にも、現時点ではそれはできない、という回答。
Dapper Feed Services (pre)
このセッションの本題に入る前に、なぜかちょっとしたデモがあって、LinkedInのContact情報をスクレープするというもの。これはちょっとすごい。
LinkedIn使っている人でも意識しないと知らないと思うけど、LinkedInのコンタクトリストページはDHTML（Ajaxでデータを取って来てあとから埋め込んでいる）になってるので、ただのHTMLスクレープでは肝心の情報が取れない。Dapperではそれができる。サーバサイドでブラウザのクローンを動かしており、それがちゃんとJavaScriptエンジン積んでいるので、ちゃんとAjaxリクエストが完了してDOMツリーができあがった時点でスクレープする。
ちなみにエンジンはRhino。MozillaのなんかでSpiderMonkeyつかってやってるのをkuさんが調べてた（ような記憶があるけど見つけられない）けど、実際にサービスでserverside javascript+DOM+Scrapingまでやってるのを初めて見た。まあ、単におれにとって初めて、ってだけの可能性は高い。
Dapper Feed Services
各種 mashup services の位置づけについて。
PipesはVisual Programming。Google Mashup EditorはMarkup Template。
ではdapperは何なのか？マッシュアップのcommon logic patternsである。
patternには以下のようなものがある
- recursive
- 入力から終了信号を受け取るまで実行すようなもの。たとえばGoogle検索で、nextをどんどんクリックして行って、最終的にBig Result Setを得る（<= 何となくAutoPagerizeを想起させる）
- foreach
- 入力となるリストのそれぞれにつき繰り返し、出力するもの。たとえばトップニュースの見出しが表示してあるページからそれぞれたどって本文を抜き出すなど。
- merge
- (foreachに似ている？)
- caluculation field
- 複数値の計算結果（min, maxなど）、フォーマットを行う。スプレッドシートのフォーミュラに相当
その後、Dapper Feed Service内のレポジトリXMLの説明。フィールドとして定義するデータのパス値（XPath）や、データ型、URLのコンディションなどが格納されているのが分かる。
最後に、あまりつながりがないように感じたが、ウィジット出力の説明。表示しているページのデータをもとにしたウィジットを設定できる(contextual)。たとえばフォードに関連するページにウィジットを置いていたらそれをもとにDapperのFeedの入力にフォードというキーワードを設定して検索させるなどができるので、コンテクスト広告みたいなことが可能になる。ただし、Dapperに渡されるのはRefererで渡るURLのみであるため、表示するページからどの情報をとってくるかはDapperの設定をしなければならない（逆に言えばDappで定義できるなら何でもできる）
Transformer Builder
Dapper Feed Servicesが生成するDapper XMLをいろいろな形に変換する。HTML, RSS や JSONはすでにあるが、Dapper ではそれをさらに拡張できる。PHPで実装する。クラスを拡張し、transform() メソッドに実際の変換結果を実装する。getDetails() 静的メソッドには設定画面のUIを設定。
詳細はここに
http://www.dapper.net/developers/transformers/
このあと途中所用があり抜け出してしまった。Hack Sessionらしかったのだけど、Dapperのブログを見る限り和気あいあいとやっている。
ちなみにカンファレンス会場は虹色の旗がはためく地域。GoogleMapsで地図はみていたのだけど、距離感を間違えた。会場もMosconeみたいなのを想像していたので大間違い。今日は駐車場代をケチって電車で市内まで来たのだけど、明日は車で来よう。
