2010.04.06

高城剛の著書に影響され、旅行のための情報収集を磨く

高城剛の著書が面白く、日本の商業主義的なガイドブックに頼らない情報集取を実践してみようと思った。

サバイバル時代の海外旅行術 (光文社新書)
サバイバル時代の海外旅行術 (光文社新書)
おすすめ平均
stars面白い読み物
starsサバイバーな海外旅行をしたい人には面白いと思う
stars旅慣れた人の旅行技術開陳。 だが旅慣れた読者が読むべき内容は薄いです。
starsお役立ち情報の一方で、なかなか万人の理解を得られない記述も多く見られる
stars評価できる

Amazonで詳しく見る
by G-Tools

いつ行くか不明だが、とりあえずパリをターゲットに。それと、できれば英語を中心に集めていくこととする。

1日1サイト

なにごとも継続が大事なので、まずGoogleDocで日付入りのURL一覧を作って1日1サイトというペースで情報収集することにした。もちろん、忙しくて情報収集なんかしてられない日が続くこともあるので、調子が良くて1日に5サイトぐらい見たら5日分記録したり、ゆるい感じでモチベーション維持をしてる。

ちなみに高城剛はCIAのサイトで旅行情報を得ることを薦めている。ほかにも、著書に推奨サイトが幾つかあるので、最初は、本を片手に、このあたりを辿るのがいい。

百式さんが毎日、新しいサイトを紹介している舞台裏を想像しながら情報収集を楽しんでいるのだが、パリに関する情報は1日1つずつ量産されているわけではないので、Googleの検索結果を追っているだけでは、あっという間にカレンダーに追いつかれてしまう。そんなわけで、情報収集の方法を工夫しなければいけない。

ソーシャルサイトの手を借りる

1日1サイトを実践すると、検索結果の上位を拾っても2週間ぐらいしかもたないので情報収集の手を広げるわけだが、具体的にはこのあたりを探ってみた。

  • Delicious
    日本で言えば、はてなブックマーク。はてブと同じように特定のタグを含む情報だけRSSリーダーに取り込んでおけば、文字通り、情報があちらからやってくる。

  • Digg
    日本で類似のサービスを示すのが難しいが、アメリカで盛り上がっているサイトなので外せない。ところでサイトの性質上、「Paris」で検索すると某セレブばっかりヒットしてしまうが、Googleと同じように「Paris -Hilton」と除外するキーワードを設定しておくことができて便利。

どちらのサイトも、人気がある順に並び替えることができ、検索結果のランキングで見つからなかったサイトが見つかるのと、新着をRSSなどで取得することで、書かれたばかりの情報に接することができる。

定番サイトを狙い撃ちする

1日1サイトを続けていると、良い情報は良いサイトに集まっているという当たり前のことに気付く。であれば、検索オプションで、良いサイトのドメインに絞って検索すると、文字通り芋づるである。

下記のサイトは、行き先の情報に限らず、旅行全般で良質なコラムが読めて、RSSも提供している。Livedoor Readerで購読者がほとんどいないのが不思議である。

旅行専門ではないが、www.time.comやwww.nytimes.comも、たまに旅行に関する記事がある。

Pipesの作者の情報源を除く

定番サイトがRSSを提供しているなら、そのRSSを束ねて、特定のトピックスについて書かれている場合だけ抽出して、ということをすれば、余分な情報に目を通す時間が節約できる。

Pipesというのは、米Yahoo!が提供しているサービスで、上に書いた複数のサイトの情報を束ねてフィルタリングして、といったことをビジュアルに実現できるサービスで、僕もMatadorやらjauntedやらをPipesに放り込んでいる。

似たようなことをしている人は大勢いて、例えばFrommerを入力元にしているPipesを検索すると、旅行のためにPipesを使っている人が、ほかに、どんな情報を集めているのかを知ることができる。

http://pipes.yahoo.com/pipes/search?r=source%3Afrommers.com

Pipesが最もレベルの高い情報収集ツールだというわけではないが、元々、大量の情報から必要な情報だけを見たいと思うような人が使うサービスなので、入力元も有益な情報が含まれている場合が多い。

残念なのが、RSSの出力にfeedburnerを使っているサイトは、ドメイン指定で探せないところ。こういうところは機会損失だよなぁ、と思う が、ちょっとニッチすぎるかな。

まとめ

インターネットからの情報収集は、検索サイトだけでなくソーシャルサイトの力を借りるのが近道だが、ツールを使ってまで情報収集している人に辿り着けると、濡れ手に粟である。

| | Comments (0) | TrackBack (0)

2009.08.30

twitter、tumblr、googleブログ検索を串刺し検索するPipes

何かにはまったときにやることは、だいたい、こんな感じである。

  1. Googleで検索
  2. はてなブックマークで検索、検索結果の新着RSSをLivedoor Readerに登録
  3. twitterで検索、新着RSSを登録
  4. tumblerで検索、新着RSSを登録

要するに、一度で理解しきるのは難しいので五月雨に情報を浴びる仕組みづくりをするわけだが、これには幾つか問題があり

  • 検索を別々にするのが面倒
  • RSSに登録すると未読が爆発的に増える

ということで、Yahoo! Pipesでまとめこんで、Firefoxにライブブックマークとして登録して読むことにした。

Maniac_search

日本語、英語以外も含まれているのがご愛嬌。ただ、これであれば見たいとき(=暇なとき)に適当にブラウズしておけばRSSリーダーの未読が減らないという妙なストレスからは解放され、少し時間を有効に使える気がする。これからは何でもRSSリーダーに登録しない時代だな。

Pipesとしては、特に新しいことは何もしていないが、一応こちら。

http://pipes.yahoo.com/pipes/pipe.info?_id=hNjmMg_B3hGjl_9XtJCjyQ

また、作ったPipesをFirefoxの検索窓から使えるようにAdd to Search Bar1.8というのを最近、使っているのだが、これも便利。

| | Comments (0) | TrackBack (0)

2008.11.11

Yahoo! Pipesがcharset問題に取り組んでいるらしいが

Pipes has had a problem handling certain character sets in various feeds and XML documents. The good news is that we believe we've finally isolated the issue and the release today should solve the mangling problem for a majority of feeds in our system. If you are using the http://william.cswiz.org/tool/xmliconv/ hack, you can still continue to use it, but you should be able to fetch the feeds directly now.

Pipes charset encoding and pubDate

早速、問題なく使えていたPipesが文字化けするようになった。

ちょっと軽いなぁ。あちらを立てればこちらが立たずなのかもしれないが、仕様変更したら使えなくなるなんてユーザを甘く見すぎている気がする。

| | Comments (2) | TrackBack (0)

2008.10.27

Yahoo! Pipesの地図出力をYahoo! Japanの地図で表示させる

Yahoo! Pipesの地図表示が「面白いけど使えない」という話を何度か書いたことがある。どれぐらい使えないかというと、Art Beat APIで新宿駅周辺1500mを表示させたときの表示が、こんな感じで、ズームすると「Sorry」と表示されてしまう。

Pipes1

で、他の地図のAPIに渡せば、それなりの表示をしてくれるんじゃないかと、こんなのを作ってみた。

PipesY!Map

(注:Lacoocanを解約する予定ですので、ソースのみGitHubで見ることができるようにしました。http://gist.github.com/44722

Pipesymap1

Yahoo! Pipesを使ったことのある人ならわかると思うが、URLからid=....の部分をコピペするとPipesのgeorssをマッピングする。残念ながら表示位置の調整は手動で、何もしないと新宿中心である。

「ソースを見る」で表示するとHTMLとJavaScriptを合わせて25行しかないが、ちょっと苦労したのでメモしておく。自分で作ってみたい人はどうぞ。

Yahoo! 地図によるgeorss表示

元々はGoogle Maps APIで作ろうと思っていた。Yahoo!のバックエンドをGoogleでフロントエンドするなんて素敵だなぁ、と思いながらGoogle Maps APIのgxmlのXMLから緯度経度を抜き出して表示するサンプルなどを見ていたが、肝心のRSSからgeocodeを抜き出す方法がよくわからない。

で、検索してるとYahoo!地図では、なんと1行でgeorssを読み込み、マーカーや吹き出しまで表示してくれるのだとか。

GeoRSSを表示してみよう! - 地図スタッフブログ - Yahoo!ブログ
はてなユーザーの評価  livedoorユーザーの評価 

乱立するgeorss

早速、PipesのRSSを読み込ませてみたが、案の定、そのままでは読み込んでくれないらしい。Pipesが出力するgeocodeは、こんな感じである。

<geo:long>139.69826169864</geo:long>
<geo:lat>35.693038126664</geo:lat>

一方、Yahoo!地図のサンプルで読み込ませているワイワイマップは、こんなに冗長である。

<ygeorss:point>139.701495 35.68979694</ygeorss:point>
<geo:Point><geo:long>139.69826169864</geo:long>
<geo:lat>35.693038126664</geo:lat></geo:Point>
<georss:point>35.693038126664 139.69826169864</georss:point>

何事か!ということはヘッダに書いてある。

<rss version="2.0"
xmlns:georss="http://www.georss.org/georss" 
xmlns:geo="http://www.w3.org/2003/01/geo/wgs84_pos#" 
xmlns:ygeorss="http://map.yahoo.co.jp/ygeorss" xmlns:media="http://search.yahoo.com/mrss">

結局、PipesのRSSを読み込んでgeocodeの部分だけを書き換えるプロキシを書いて、その返り値をYahoo!地図に渡したら動いた。

それ以外は工夫してないのだけど、コードを書くこと自体が久しぶりなので構想から随分とかかってしまった。追加機能とか、そのうちに。

--

Rubyレシピブック 第2版 268の技
Rubyレシピブック 第2版 268の技 まつもとゆきひろ

おすすめ平均
starsプログラム言語一つにつきレシピ本は持っておくべき。
stars「Rubyでやりたい」のならとりあえず読んでみて

Amazonで詳しく見る
by G-Tools

| | Comments (0) | TrackBack (0)

2008.09.28

Pathtraqで隠れた名作を探すのが楽しい

Yahoo! PipesからPathtraqのAPIを叩くというブックマークレットを作ったのだが、

[pathtraq-api]←右クリックでお気に入りに追加(初出はここ

色々なサイトで、どのページが読まれているかランキングを作るのが楽しい。

例えばWikipediaで最近24時間に最もアクセスされているページはこんな感じである。

[91] 日本教職員組合 - Wikipedia
[38] T-72
[24] 日本教職員組合 - Wikipedia
[19] ポール・ニューマン - Wikipedia
[14] ベルクマンの法則 - Wikipedia
[13] 爆発反応装甲 - Wikipedia
[7] 金子一義 - Wikipedia
[7] 浦田聖子 - Wikipedia
[6] タモリのボキャブラ天国 - Wikipedia
[6] 画像:T72 Georgia.jpg - Wikipedia
[5] T-90 - Wikipedia
[5] 悪魔の契約書 - Wikipedia
[5] 熱いトタン屋根の猫 - Wikipedia
[4] 敗血症 - Wikipedia
[4] 桂宮宜仁親王 - Wikipedia
[4] 芳乃さくら - Wikipedia
[4] 輿石東 - Wikipedia
[4] 福永洋一 - Wikipedia
[4] 福永祐一 - Wikipedia
[4] 画像:PT-91 Twardy NTW 5 93 1.jpg - Wikipedia

Pathtraqをインストールしている層も偏りがあると思うが、ニュースで知らない言葉とか、みんな検索してるんだなぁ、というキーワードもあれば、テレビか何かの話題だろうか、なぜ同時多発しているのか不明なキーワードもあって、ついついクリックしてしまう。いわゆる検索ランキングとは違った趣きがある。

続いて、はてな。Pathtraqは「http://*.hatena.ne.jp」とワイルドカードをかけることができるので、やってみた。

[70] 「あたし彼女」現代語訳 - 藤棚の上
[63] 93700円をドブに捨てた結果 - 幸せの鐘が鳴(r
[55] 小泉さんは泡沫候補だったのをみんな忘れてしまったのか? - アンカテ
[31] 「風俗女ごとき」のほうがお前より稼いでいるかもしれないだろ・・・ - heartbreaking.
[22] そろそろ中山国交相の失言について語っておくか - 過ぎ去ろうとしない過去

想像はしていたが、ホッテントリと似た傾向。それにしても、なんだかなぁ。。。

まあ、そんな感じで延々と、普段見ているページを発掘しているのだが、ソーシャルブックマークだけでは見えなかった意外な発見が盛りだくさんで楽しい。

延々と紹介していると切りがなさそうなので、個人的に収穫だと思っているものを最後に紹介する。Yahoo! Pipesで最も参照されているpipesのランキングである。(デフォルトはhot:だが、popular:に指定して検索した)

[82] Pipes: Nicovideo Thumbnailer
[50] Browse Pipes: Most Frequently Run Pipes
[45] Pipes: 全文配信化API [26] Pipes: asahi.com 全文配信
[17] Pipes: Mashupedia RSS
[16] Pipes: 動画ファイルナビゲーター最速更新情報 RSS
[16] Pipes: twits of 10 people
[16] Pipes: gooFemaleRanking+blinkx [en] d-addicts&wikipedia Thumb
[15] Pipes: Twitter Favorites Marger
[14] Pipes: word filter for twitter
[13] pipe.info
[13] Pipes: laboowTumblr
[12] pipe.run
[11] Pipes: Feed Keyword Filter
[11] Pipes: Page to Podcast
[10] Pipes: youtube zep translate
[10] Pipes: Copy of FemaleRank + YouTube
[9] Pipes: de
[9] Pipes: YOMIURI ONLINE ニュース 全文配信
[9] Pipes: gooFemaleRanking+YouTube [en] d-addicts&wikipedia copy

 

追記

普通に名作を探す場合は、はてなブックマークの人気エントリを叩くのが普通に確実な気がする。

[hatena-bookmark]←右クリックでお気に入りに追加(初出はここ



Apple Store(Japan)

| | Comments (0) | TrackBack (0)

2008.09.15

Art Beat APIで何か作ってみました

前にYahoo! Pipesで、いろいろなAPIを叩くのが楽しいなんてことを書きましたが、叩き甲斐のあるAPIがありました。

TOKYO Art Beatは展覧会などの情報を発信してるサイトですが、ここが公開しているAPIは緯度経度を元に、近所の展覧会情報を出力するというもの。Hotpepper APIの展示会版といった感じかな。

緯度経度が必須キーなのが敷居が高い気がするが、前にYahoo! JapanのローカルサーチAPIを使ったYahoo! Pipesを作ったので、それと組み合わせて適当な地名を入力するとArt Beat APIから半径1500m(調節可)の展示会を一覧表示してくれるYahoo! Pipesを作ってみた。

art_beat_eazy_go

試しに最寄りの駅を入力したら、ちゃんと表示された。相変わらず残念なのがYahoo! Pipesで表示される地図の解像度が低すぎて使い物にならないのと、日本語が通らない点。

art beat apiはLanguage=enと指定すると英語で出力するバイリンガルAPIなので、英語で出力して使っているが、地図の解像度はどうしようもない。Pipesを捨てて、もしくはPipesの情報を使いつつ、地図だけはGoogle MapsやYahoo! 地図に出力するしかないだろうか。

それと、画像が大中小と3つ出力されるのだが、どれもimg srcでしか指定されていないので、どれかひとつを抜き出すということができないところも困った。SmallImageUrlとか属性の名前で抜けるよう にしてもらった方が使い勝手が良い。(楽天のAPIは、そういう仕様)

| | Comments (0) | TrackBack (0)

2008.09.08

Yahoo! Pipesのテクニックを10個(後編)

前編が、まあまあ好評だったので、後編も書いてみます。

uessay: Yahoo! Pipesのテクニックを10個(前編) はてなユーザーの評価  livedoorユーザーの評価

6.いろいろなAPIを叩いてみる

pathtraq APIなど、いろいろ面白いAPIが公開されているが、それぞれのAPIをどんな使い方が出来るか試すのにpipesは最適である。(アクセスキーが必要なAPIをPipesで使ってよいかという問題はあるが)

今のところ、この2つが便利である。どちらも部品化して、別のpipesに組み込んで使っている。

Yahoo! Japanの形態素解析なども使ってみたいが文字コードが合わないのが残念。

7.ブックマークレットからpipesを呼び出してみる

上で紹介したpathtraq APIは適当なURLを入力して使うのだが、はてなブックマークなどで使われているブックマークレットを使って、今読んでいるページのURLをpipesに渡すこともできる。

[pathtraq API]

この例ではブックマークレットで全てのパラメータを指定していないので「This Pipe may require all fields to have values before it will run successfully」と表示され、処理がストップしているが、あえて「Run Pipes」ボタンを押したら処理が始まるというPipesを作りたい場合に応用できる。

8.geotagに手を出してみる

y:locatorは、Yahoo! Pipesが最もクールに見えるテクニックだと思う。pipes上で地図を表示させているやつである。

ストリートビュー×pathtraqというpipesはGoogleストリートビューで最も見られているページをpathtraq APIで抜き出しているのだが、ストリートビューのURLには位置情報も含まれているので、これをgeo化してpipesで地図上に表示させてみた。具体的には下記URLの赤字の部分を抜き出してlocation extractorというフィルタにかけている。

http://maps.google.co.jp/maps?f=q&hl=ja&geocode=&q=&sll=35.658517,139.701334&sspn=0.023571,0.038538&ie=UTF8&ll=35.663433,139.701204&spn=0.02357,0.038538&z=15&layer=c&cbll=35.656808,139.699452&panoid=1oRkwvgHxaAIzXV9aOkXEg&cbp=1,170.12899018659587,,0,-52.281293940763526

ただ、前にも書いたようにpipesで提供される地図は日本国内の精度が低いため、不動産情報など細かい地点を判別するという用途には使えない。

9.デバッグするときは、見たい要素をtitleにRenameする

pipes嫌いが揃って口にするのが、正規表現などをデバッグするのに時間がかかることである。例えばdescriptionをregrexした場合、正しく処理されているかを確認するために、各要素をクリックして展開しなければならない。

titleはデバッグウィンドウに唯一そのまま表示される要素なので、途中結果をsplitして、もう片方でデバッグしたい要素をtitleにRenameすれば一発で確認できる。

華々しくAPIやy:locatorについて書いた後に紹介するには地味なテクニックだが、ストリートビュー×pathtraqは、そうやってデバッグしながらgeotagを作った。

10.Google Chart APIでグラフを表示させる

geotagを書いて地図を表示させるのもクールだが、画像が含まれているフィードを表示させるとサムネイルを作ってくれるところも活用してみたい。

google chart apiはサンプルグラフを表示させているだけのpipesだが、使いようによっては色々な情報の視認性アップに使えそうである。さて、どんな使い方ができるだろうか。

正規表現クックブック

Jan Goyvaerts オライリージャパン 2010-04-15
            売り上げランキング : 102656

おすすめ平均  starAve
star1勉強になります
star2値段以外は満足

by ヨメレバ

| | Comments (0) | TrackBack (0)

2008.08.30

不動産情報をYahoo! Pipesでマッピングしてみた

Yahoo! Pipesで海外の人がCraigslistの不動産情報を表示させているのがかっこよくて真似しようと思った。例えばこんな感じのPipesが大量にある。

P2

前にuessay: 住宅探しもRSSの時代 はてなユーザーの評価  livedoorユーザーの評価というエントリを書いたように、日本でも不動産情報がRSSで配信されるようになり、Yahoo! JapanからローカルサーチAPIという地名から緯度経度を出力してくれるAPIが公開されたので、Yahoo! Pipes上で組み合わせてコードを一行も書かずに簡単に作れそうである。

少しだけ手順を解説すると、

  • Yahoo! Pipesではgeo;latなどの属性を持つRSSをlocation extractorというフィルタに書けると、上述のように地図上にマッピングして表示できる(location extractorを使わなくても、y:locationを付与すればOK)
  • Yahoo! JapanのローカルサーチAPIは、地名を入力すると緯度経度を出力してくれる。
  • 住宅情報ナビや楽天不動産により提供されている不動産情報のRSSから地名部分だけを抜き出しローカルサーチAPIに入力し、出力をlocation extractorに入力する

こんな感じで作れば、自動的に楽天不動産や住宅情報ナビの新着情報が地図上にマッピングされるはずである。なんだ、簡単じゃないか。

ただ、実際に作り始めて愕然とした。Yahoo! Pipesで出力される日本は、あまりに寂しかった。

P1

これよりズームインすると「その解像度では提供されてないのでズームアウトしてください」と表示されてしまう。それでも、せっかくだから楽天不動産と住宅情報ナビのRSSは作ってみたけど、今度は位置情報がちゃらんぽらん。手入力ではマッピングされているので、文字コードか何かの問題だろう。

せっかく、uessay: Yahoo! Pipesのテクニックを10個(前編) はてなユーザーの評価  livedoorユーザーの評価の後半を書こうと思ったのに、これじゃ書けないなぁ。

| | Comments (0) | TrackBack (1)

2008.08.23

Yahoo! Pipesのテクニックを10個(前編)

このブログで、もう何回も書いているが、Yahoo! Pipesによるスクレイピングが楽しい。やりたいことができなくてRubyで書き始めたこともあったが、Pipesの視認性の良さに慣れてしまうと、後戻りは難しい。

で、触り始めた頃より少し覚えたことが増えたので列挙してみる。

1.PipesにはWeb型RSSリーダよりFirefoxのライブブックマークが似合う

RSSと言えば、Livedoor ReaderなどWeb型のRSSリーダーで読む方が楽だという固定観念があったが、Pipesを頻繁に手直ししてると未読や既読が混ざってしまい扱いにくい。また、Fetch PageなどでRSSを生成するとpubDateが付かない(もしくは付けるのに苦労する)という点もWeb型と相性が悪い。Firefoxのライブブックマークなど、RSSそのものを単純に表示するようなツールの方が向いている気がする。

2.タイトルを加工すると、より見やすくなる。

Pipesの最もシンプルでポピュラーな使い方が、Unionなどで複数のフィードを結合するというものだと思う。僕もtoto予想のために各種ニュースサイトのRSSをチームごとにアグリゲートして読んでいるが、タイトルだけだと、どこの情報かわからないため、Regrexで文末を示す正規表現である「$」を出典にReplaceしている。元々、RSSに含まれているcreator属性を付け替えてもよいし、手書きでも便利である。下はRegrexで末尾($)に「-sanspo」という文字列を挿入している例。

P1

3.Pipesの文字化けはcharsetを疑え

Pipesでは取り込むフィードでcharsetが指定されていないとiso-8859-1と解釈されるらしく文字化けする。はてなRSSでアグリゲートさせると行儀のよいフィードになってくれるので常用しているが、Pipes の文字化け回避策3つ - 帝冠ダイアリー はてなユーザーの評価  で紹介されている、charsetを付けてくれるプロキシも手軽である。ただ、何度か使ってて調子が悪い時があるようなので、複数のプロキシに投げて、正常に返ってきたときだけ値を返すcharset_proxyというpipesを作ってみた。Yahoo!単体で解消できることが望ましいことは言うまでもないが、それまでの暫定措置として。

4.HTML TABLEのスクレイピングはDapperで

HTMLテーブルをRSSに変換すること自体は、そんなに難しくない。下はサンプル。適当に作って最初の2行を捨てるあたりがミソ。

P2_2

しかし、ちょっと大きいテーブルを相手にすると、必要でない情報までフィードに含まれてしまうところが悩ましい。正規表現で切り取るのが正統派だが、Dapperというサービスはマウスで必要な箇所だけプチプチ選べばよくて快適。前に書いたときは不満もあったが、割り切って使えばなんてことはない。

pipesでDapperをソースにした一覧を見てると、Web2.0化が遅れているようなサイトからの抽出が多く、架け橋のような技術だということがわかる。

ひとつだけ欲を言えば、こういうマッシュアップ系のサービスがOpen IDになってくれれば、ただそれだけのためにアカウントを作らなくてよくて便利なのだが。

5.このサイトの情報を元に、あのサイトで検索する

Dapperは何もTABLEのためだけのツールではない。例えば僕はtotoのサイトで「次回は第355回」という情報を入手して、technoratiで「第355回」のtotoを予想してる人のブログを探すということをやっていた。

これぐらいの作業は人力でやってもかまわないのだが、せっかくだから「355」という数字だけ取って来て、Pipesで「355」で検索した結果だけ取得できれば言うことなしである。簡単そうだが、Pipesにとっては「355」という数字もフィードの一部なので「たまたま355という数字があるが、356、357と続いている数字の一部かもしれない」なんて扱いをしているため、Loopでひとつひとつ流し込んであげる必要がある。

また、Loopの中にはFetch Feedとか単機能の関数しか入れられない。Loopの中で少し複雑なことをしようと思ったら、関数を独自に作ってMyPipesから呼び出すということをすればよいのだが、そこに気付くのに時間がかかってしまった。

で、作ってみたのがコチラ

D3

これを覚えれば「サイトAに書かれていたことをサイトBで探す」みたいなことが簡単にできる。

--

さて、10個紹介すると書いたが、ここまでで5個である。残りの5個は、またいずれ。(追記:こちら

正規表現クックブック

Jan Goyvaerts オライリージャパン 2010-04-15
売り上げランキング : 102656

おすすめ平均 starAve
star1勉強になります
star2値段以外は満足

by ヨメレバ

| | Comments (0) | TrackBack (0)

2008.08.17

DapperでJリーグ公式記録をRSSに(途中)

6月ぐらいから休む間もないぐらい忙しかったが、とりあえず夏休みを取れたので、気になっていたマッシュアップに手を付けている。もちろん題材はtotoの予想。

Dapperはスクレイピングはもっと簡単にならなければいけない - bits and bytes はてなユーザーの評価  livedoorユーザーの評価 に触発されて試してみたが、Yahoo Pipesで正規表現をゴリゴリ書かなければHTMLをRSSにできなかったところをビジュアルにできるところが素晴らしい。

Dap1

やってて不思議なのが、RSSに出力するのにlinkとかpubDateに割り当てるといったことがDapper単体でできない点。特にlinkとか付いてないとRSSリーダーが表示すらしてくれないので、結局、Dapperで作ったフィードをPipesで加工するという複雑なことをしている。もしかしたら簡単にできることかもしれないけど、Pipesのように他の利用者のコードを読んで使い方を学べるようになっていないところも寂しい。

最終的には、totoの予想に使うデータを全てRSSにしてしまい、Firefoxのライブブックマークから必要な情報を取り出すといった環境にしたいのだが、いつまでかかることやら。とりあえず、現時点で見てる情報は、こんな感じ。

Dap2

ところで、TechCrunch Japanese アーカイブ » ミックス、リップ、マッシュアップ -5つのデータ処理サービスを比較する はてなユーザーの評価  でも比較されていたTeqloは投資家に資金を引き上げられ、マッシュアップは金にならないなんてタイトルで記事にされていたが、Dapperはどうなるんだろうか。

| | Comments (0) | TrackBack (1)