ただ、CiNiiは文字コードがEUCで、PipesはUTF-8なんで、日本語通りません。実用性がた落ち。Pipesのモジュールで文字コード変換ができるか、文字列と変換前後の文字コードを送ったら、文字コード変換して返してくれるWeb APIがあればいいんだけどなあ。(公開してる)サーバがあれば、作るのはすぐできそうなんだけど。

CiNiiは検索の際にJavaScriptで前処理してるので、Googleカスタム検索でクエリ文字列を知ることができない(カスタム検索しても検索できない)。今後のためにもブラウザからpostしたデータを知る方法を探してたら、さすがはFirefox。アドオンで発見。

UrlParams :: Firefox Add-ons

サイドバーでベースURLとReferer、GETとPOSTのパラメータを表示してくれて、かつ、パラメータを増減・変更して再送信もできる（ここ重要！省略可能なパラメータを見極められるし、パラメータの違いでどう変わるか簡単に試せるのは便利）。

PipesやGreasemonkeyでWebサービスハックする時、Firebugと並ぶ必需品になりそう。

余談ですが・・・。

学術情報だと和洋とりそろえたGoogle Scholarが便利なんですが、Pipesからアクセスすると403エラーを吐いてくださる(アクセス拒否されてる)。しょうがないんで、HTAでシステマチックにデータ取得できないかといろいろ試してたら、突然アクセス拒否！たぶん短時間にリクエスト出しすぎたんだな。その後数時間いっさいアクセスできず冷や汗。Googleはそのへん厳しいのね。

追記 (2009/07/07)

2009/07/07現在、CiNiiのバージョンアップにより、検索したら普通にフィードが取得できるようになっています(もちろん詳細検索でもOK。すばらしい!)。もはやこのPipeは用済みですが、いちおう残しておきます。

コメント: 0
トラックバック: 0

PipesでJ-STAGEの野良RSSを作る。

投稿者: labocho
2008年7月29日 8:12 PM
未分類
J-STAGE | Pipe

職場の回覧で回ってきた「情報管理」という雑誌がおもしろそうだったので、購読することにした。幸いJ-STAGEで本文を公開しているので、自宅からでも最新号が閲覧できる。

ただ、J-STAGEでは新着記事の情報をRSSでは配信していないらしく（メール配信はしている）、Googleリーダー等でチェックすることができない。もう、フィードリーディングに慣れた身だとRSSないとめんどくさくてめんどくさくて・・・。

そこで、いろいろ調べてたら、米Yahoo!の提供しているPipesというサービスを見つけた。

Pipes: Rewire the web
http://pipes.yahoo.com/pipes/

Webのリソースを、メールアラートやRSS、Badgeなどに整形して出力できるサービスなのだが、UNIX使いにはおなじみのパイプよろしく、モジュールをつないでいくだけで処理ができる。しかもGUIで！

このへんを見ると感じがつかめるかも。

簡単マッシュアップ、「Yahoo! Pipes」を試してみた – ＠IT
http://www.atmarkit.co.jp/news/200702/15/pipes.html

プログラマ諸氏なら触ってるだけでほぼ理解できるだろうし、プログラムやったことない人でもとっつきやすいんじゃなかろうか。デバッグ環境もよくできていて、触ってるだけでも楽しい。

しかも、公開されてるpipeはみんなソースも見れるし、複製もでき、別のpipeをモジュールとして使うこともできる。まさにWeb 2.0！

で。当初の目的だったJ-STAGEの特定の雑誌の新着記事情報を出力するpipeを作ってみた。

Pipes: J-STAGE RSS
http://pipes.yahoo.com/pipes/pipe.info?_id=d2b4042384b2c2c80df232e01e950896

J-STAGEの雑誌のトップページのURLを入力し「Run Pipe」をクリックすると、その雑誌の最新号の記事一覧が出力される。

RSSで出力したい場合は、More options – Get as RSSをクリックする。

作成中気づいたことメモ

型が割と厳格で、型が違うとモジュールを接続できないので注意。
Fetch pageなどでデータを得るとデータ型がitemsで出力される。これを（たとえばitem.contentを）text型などのデータとして利用したい場合は、Loopモジュールを使う。
型の変換は、上記のLoopモジュールやURL Builderなどを駆使する。

以下、逐次解説。

上記pipeのソースを見ながら（Edit Sourceで見られる）どうぞ。

処理の流れ

J-STAGEの雑誌のトップページには最新号の記事一覧へのリンクがある（が、そのアドレスは最新号が出るたびに変わるっぽい）。

このリンクから最新号の記事一覧を取得して、個々の記事に分けて出力する。

1.URL Input

ユーザに雑誌のURLを入力させる部分。

Promptは入力フィールドの前に表示される文字列。

Defaultはデフォルトで表示される文字列。

Debugはデバッグ時に使用される文字列。

positionはたぶん複数置くときの順番。

Nameはどこで使うのかよくわからん。

出力はURL型。

2.Fetch page

Webページのソースを取得する。

URLは取得するページのURL。1を接続する。

Cut content from/toはページ全体から切り取る開始文字列と終了文字列。ここでは、最新記事のページのURLを取り出したいので、その前後の文字列を指定した。

Split using delimiterは区切り文字列。ここでは、指定しない。

出力はitem型の配列であるitems型。Split using delimiterを指定していると、それで区切って配列にするわけだが、ここでは指定してないので要素1つの配列になる。

3.Regex

正規表現でitemの子要素を置換する。

2で得た部分にはゴミがついてるのでURLの部分だけを取り出す。

出力はさっきと同じくitem型の配列であるitems型。

以下、すべてitem型の配列であるitems型で出力される。

4.Loop

itemsの各要素に対して処理を行う。

ここではitemsの要素数は1つだけなのだが、その場合でもこれを使う。

ここにFetch pageを入れ、item.contentに入っているURLをもとに最新号のページを取得する（ここでURL型への型変換は勝手にやってくれるみたい）。記事一覧の部分だけ取り出し、各記事の区切りをSplit using delimiterに指定した。

5.Rename

この時点ではitem.contentのなかに一記事分のHTMLがまるまる入っているわけだが、最終的には、item.title、item.link、item.descriptionにそれぞれ、タイトル、記事の（抄録の）URL、著者名を格納したい。そのため、item.contentを2つコピーし、それぞれをtitle、link、descriptionと名前をつける。