« July 2008 | Main | September 2008 »

2008.08.30

不動産情報をYahoo! Pipesでマッピングしてみた

Yahoo! Pipesで海外の人がCraigslistの不動産情報を表示させているのがかっこよくて真似しようと思った。例えばこんな感じのPipesが大量にある。

P2

前にuessay: 住宅探しもRSSの時代 はてなユーザーの評価  livedoorユーザーの評価というエントリを書いたように、日本でも不動産情報がRSSで配信されるようになり、Yahoo! JapanからローカルサーチAPIという地名から緯度経度を出力してくれるAPIが公開されたので、Yahoo! Pipes上で組み合わせてコードを一行も書かずに簡単に作れそうである。

少しだけ手順を解説すると、

  • Yahoo! Pipesではgeo;latなどの属性を持つRSSをlocation extractorというフィルタに書けると、上述のように地図上にマッピングして表示できる(location extractorを使わなくても、y:locationを付与すればOK)
  • Yahoo! JapanのローカルサーチAPIは、地名を入力すると緯度経度を出力してくれる。
  • 住宅情報ナビや楽天不動産により提供されている不動産情報のRSSから地名部分だけを抜き出しローカルサーチAPIに入力し、出力をlocation extractorに入力する

こんな感じで作れば、自動的に楽天不動産や住宅情報ナビの新着情報が地図上にマッピングされるはずである。なんだ、簡単じゃないか。

ただ、実際に作り始めて愕然とした。Yahoo! Pipesで出力される日本は、あまりに寂しかった。

P1

これよりズームインすると「その解像度では提供されてないのでズームアウトしてください」と表示されてしまう。それでも、せっかくだから楽天不動産と住宅情報ナビのRSSは作ってみたけど、今度は位置情報がちゃらんぽらん。手入力ではマッピングされているので、文字コードか何かの問題だろう。

せっかく、uessay: Yahoo! Pipesのテクニックを10個(前編) はてなユーザーの評価  livedoorユーザーの評価の後半を書こうと思ったのに、これじゃ書けないなぁ。

| | Comments (0) | TrackBack (1)

2008.08.23

Yahoo! Pipesのテクニックを10個(前編)

このブログで、もう何回も書いているが、Yahoo! Pipesによるスクレイピングが楽しい。やりたいことができなくてRubyで書き始めたこともあったが、Pipesの視認性の良さに慣れてしまうと、後戻りは難しい。

で、触り始めた頃より少し覚えたことが増えたので列挙してみる。

1.PipesにはWeb型RSSリーダよりFirefoxのライブブックマークが似合う

RSSと言えば、Livedoor ReaderなどWeb型のRSSリーダーで読む方が楽だという固定観念があったが、Pipesを頻繁に手直ししてると未読や既読が混ざってしまい扱いにくい。また、Fetch PageなどでRSSを生成するとpubDateが付かない(もしくは付けるのに苦労する)という点もWeb型と相性が悪い。Firefoxのライブブックマークなど、RSSそのものを単純に表示するようなツールの方が向いている気がする。

2.タイトルを加工すると、より見やすくなる。

Pipesの最もシンプルでポピュラーな使い方が、Unionなどで複数のフィードを結合するというものだと思う。僕もtoto予想のために各種ニュースサイトのRSSをチームごとにアグリゲートして読んでいるが、タイトルだけだと、どこの情報かわからないため、Regrexで文末を示す正規表現である「$」を出典にReplaceしている。元々、RSSに含まれているcreator属性を付け替えてもよいし、手書きでも便利である。下はRegrexで末尾($)に「-sanspo」という文字列を挿入している例。

P1

3.Pipesの文字化けはcharsetを疑え

Pipesでは取り込むフィードでcharsetが指定されていないとiso-8859-1と解釈されるらしく文字化けする。はてなRSSでアグリゲートさせると行儀のよいフィードになってくれるので常用しているが、Pipes の文字化け回避策3つ - 帝冠ダイアリー はてなユーザーの評価  で紹介されている、charsetを付けてくれるプロキシも手軽である。ただ、何度か使ってて調子が悪い時があるようなので、複数のプロキシに投げて、正常に返ってきたときだけ値を返すcharset_proxyというpipesを作ってみた。Yahoo!単体で解消できることが望ましいことは言うまでもないが、それまでの暫定措置として。

4.HTML TABLEのスクレイピングはDapperで

HTMLテーブルをRSSに変換すること自体は、そんなに難しくない。下はサンプル。適当に作って最初の2行を捨てるあたりがミソ。

P2_2

しかし、ちょっと大きいテーブルを相手にすると、必要でない情報までフィードに含まれてしまうところが悩ましい。正規表現で切り取るのが正統派だが、Dapperというサービスはマウスで必要な箇所だけプチプチ選べばよくて快適。前に書いたときは不満もあったが、割り切って使えばなんてことはない。

pipesでDapperをソースにした一覧を見てると、Web2.0化が遅れているようなサイトからの抽出が多く、架け橋のような技術だということがわかる。

ひとつだけ欲を言えば、こういうマッシュアップ系のサービスがOpen IDになってくれれば、ただそれだけのためにアカウントを作らなくてよくて便利なのだが。

5.このサイトの情報を元に、あのサイトで検索する

Dapperは何もTABLEのためだけのツールではない。例えば僕はtotoのサイトで「次回は第355回」という情報を入手して、technoratiで「第355回」のtotoを予想してる人のブログを探すということをやっていた。

これぐらいの作業は人力でやってもかまわないのだが、せっかくだから「355」という数字だけ取って来て、Pipesで「355」で検索した結果だけ取得できれば言うことなしである。簡単そうだが、Pipesにとっては「355」という数字もフィードの一部なので「たまたま355という数字があるが、356、357と続いている数字の一部かもしれない」なんて扱いをしているため、Loopでひとつひとつ流し込んであげる必要がある。

また、Loopの中にはFetch Feedとか単機能の関数しか入れられない。Loopの中で少し複雑なことをしようと思ったら、関数を独自に作ってMyPipesから呼び出すということをすればよいのだが、そこに気付くのに時間がかかってしまった。

で、作ってみたのがコチラ

D3

これを覚えれば「サイトAに書かれていたことをサイトBで探す」みたいなことが簡単にできる。

--

さて、10個紹介すると書いたが、ここまでで5個である。残りの5個は、またいずれ。(追記:こちら

正規表現クックブック

Jan Goyvaerts オライリージャパン 2010-04-15
売り上げランキング : 102656

おすすめ平均 starAve
star1勉強になります
star2値段以外は満足

by ヨメレバ

| | Comments (0) | TrackBack (0)

2008.08.22

映画「SEX AND THE CITY」を一夜漬けするのに最適な一冊

明日から公開ですね。センスが売りの映画なのにプロモーションに安っぽいタレントばかり出ているのが違和感ありますが、うちは夫婦揃って日付が変わった頃に六本木で見ます。(なので、昼寝をしておかないと)

僕はと言うと、ドラマを見たことはないのだけど、結婚前に妻にこの本をプレゼントして、そこらのファッション誌より格好いいと喜ばれたのでパラパラ読んで、なんとなく作品の雰囲気だけは知っている程度。これから予習しておかないと。

sex and the city―KISS AND TELL
sex and the city―KISS AND TELL エイミー・ソーン

おすすめ平均
stars素晴らしい一冊!けど失敗・・・
stars絶対買い!
starsうーむ。
starsファッションの参考に‥
starsMY BEST BOOK!

Amazonで詳しく見る
by G-Tools

| | Comments (0) | TrackBack (0)

2008.08.17

今どきのペット事情

先月、家を買って、今月、犬を飼った。と書くと、金銭感覚が麻痺したのかと思われそうだが、犬を飼いたくて家を買ったようなものなので心配なさらぬよう。

さてい、家を買った時は、不動産情報もWeb 2.0の影響を強く受けてるということをブログに書いたが、さすがにペットの情報をRSSで取得できたりという感じにはなっていない。

それでも、いわゆるペットショップではなく、ブリーダーさんから直接購入できるのは、紙媒体だけだった頃に比べても増えてるだろう。特に、うちの場合は、ここのブリーダーさんから買いたい、と目を付けていて、母犬が妊娠してる頃からブリーダーさんのサイトを覗いたりしていた。ブリーダーさんのサイトというと、なぜか開くと音楽がなるという前時代的なサイトが多いのだが、更新が楽だからという理由でブログにしているところも少なくない。

うちが選んだブリーダーさんのところも、ブログを毎日更新していて、しかも動画までアップされていた。進んでるなー、と思って聞いてみたら、ペットの場合は動くから写真に撮るのが大変なので動画にしたのだそうな。

HTMLを覚えて、写真も勉強して、と切磋琢磨するのではなく、楽な方法を選んでいたら、自然とセマンティックになるところがGoogleの時代にはいいのだろうけど、ブリーダー業もこだわりの職種ゆえ、HTMLも写真も勉強したくなる人がたくさんいるのだろう。

| | Comments (0) | TrackBack (0)

DapperでJリーグ公式記録をRSSに(途中)

6月ぐらいから休む間もないぐらい忙しかったが、とりあえず夏休みを取れたので、気になっていたマッシュアップに手を付けている。もちろん題材はtotoの予想。

Dapperはスクレイピングはもっと簡単にならなければいけない - bits and bytes はてなユーザーの評価  livedoorユーザーの評価 に触発されて試してみたが、Yahoo Pipesで正規表現をゴリゴリ書かなければHTMLをRSSにできなかったところをビジュアルにできるところが素晴らしい。

Dap1

やってて不思議なのが、RSSに出力するのにlinkとかpubDateに割り当てるといったことがDapper単体でできない点。特にlinkとか付いてないとRSSリーダーが表示すらしてくれないので、結局、Dapperで作ったフィードをPipesで加工するという複雑なことをしている。もしかしたら簡単にできることかもしれないけど、Pipesのように他の利用者のコードを読んで使い方を学べるようになっていないところも寂しい。

最終的には、totoの予想に使うデータを全てRSSにしてしまい、Firefoxのライブブックマークから必要な情報を取り出すといった環境にしたいのだが、いつまでかかることやら。とりあえず、現時点で見てる情報は、こんな感じ。

Dap2

ところで、TechCrunch Japanese アーカイブ » ミックス、リップ、マッシュアップ -5つのデータ処理サービスを比較する はてなユーザーの評価  でも比較されていたTeqloは投資家に資金を引き上げられ、マッシュアップは金にならないなんてタイトルで記事にされていたが、Dapperはどうなるんだろうか。

| | Comments (0) | TrackBack (1)

2008.08.04

節約ならぬセコを100ほど(予定)

毎年1月にパソコンのショートカット技を100個紹介するという単純作業ネタでアクセスを荒稼ぎしているが、あれは自分のパソコン操作に対する血液検査みたいなものだと思ってる。100個ぐらい出すと、誰かしらが突っ込んでくれるのが研鑽に繋がる。

日曜の朝にやってるがっちりマンデーという番組で、「セコ」というキーワードで節約ノウハウを幾つか紹介していた。例えば新幹線で大阪から品川まで切符を買うより大井町まで買った方が安い(品川は山手線内料金になる)などを紹介して、これは料金体型のスキマを狙う知的な遊びである、と結んでいた。

ああ、そういうことなら幾つか書き出してみたが、そんなに知的な節約はしていないなー、と思った。節約が知的である必要なんてないのだけど、あくまで遊びのひとつとして年に1回、100個列挙するという冒険をしてみたい。

・本は図書館、ブックオフ、Amazonの順で探す。【参照】

・速読しない。

・携帯の請求書や明細は紙ではなくメール等で受領するサービスを使う(月100円程度の節約)【参照】

・固定電話を使う。適材適所で。

・コンビニでカード払いする。コンビニのポイントを貯められるだけでなく、コンビニという不経済な買い物に毎月いくら費やしているか把握できるのもよい。

・消耗品は継ぎ足せるものを選ぶ。シャンプーとか電池とか。

・靴も消耗品のひとつだが、REGALは全国で修理を受け付けてくれるので経済的な気がする。

・お茶は自分で湧かして冷やして冷蔵庫に常備。

・自分で作ったお茶を持ち歩く。(重いので、あまりやってないが)

THERMOS 真空断熱ケータイマグ カカオ JMK-350 CAC
THERMOS 真空断熱ケータイマグ カカオ JMK-350 CAC
おすすめ平均
stars適度に冷めます。
stars立ててるといいけど・・・
starsサーモス大活躍の毎日
stars色と形がおしゃれ!
stars安心のサーモス製。

Amazonで詳しく見る
by G-Tools

・お酒はDITAなどリキュール類を常備しておくと、適当なジュースで割って、発泡酒より安上がり。

・掃除の消耗品は大半がサスティナブルなもので代替可能だと思う。クイックルワイパーとか。

・ゲーム機とかPCとか電源を元から切って確実に節電する。

ELECOM 独立スイッチ付防火タップ 2P6口 2.5m シルバー T-F5625SV
ELECOM 独立スイッチ付防火タップ 2P6口 2.5m シルバー T-F5625SV
おすすめ平均
stars安価でいいと思います
stars十分です。
starsシルバーボディーがカッコいい

Amazonで詳しく見る
by G-Tools

・自分の会社の制度を把握する。ランチなどで、どんな制度が使えるか情報交換するとよい。

・税制、特に控除となる条件に詳しくなる。(苦手分野だが)

・収集型の趣味をやめる。(もともとやってなかったが。。。)

・素材感に騙されない

・「見積もり合わせ」を習慣化する。

・車を所有せず、交通の便のよい場所に住む

・高価な買い物は、買う前に「寝かせ期間」を作る

・財布に現金を1万円以上入れない。

・医者や薬に頼らない体でいるための自己投資は、一種の節約ではないかと思う

書く前からわかってはいたけど、とても100個に届かない。エコっぽい選択をしてるのも、ちょっと嫌だったりする。モテを究めようとする人にも使えないだろうな。

まあ、ブログはログなので。2008年の僕の節約レベルは、これぐらいということで。

| | Comments (0) | TrackBack (0)

« July 2008 | Main | September 2008 »