今年、買いログの購入履歴を登録できるサイトにYahoo!ショッピング、iTunes Store、トイザらス・ベビーザらス オンラインストア、e!マツモトキヨシを追加しました。残念ながらヤフーショッピングに関してはセキュリティの強化のため、2011/08/26で停止しました。
購入履歴の取得は、スクレイピング(Scraping)を利用しています。ブラウザと同じ動作をするプログラムを作成し、HTMLソースコードを解析して、何らかの処理を行います。先日リリースした短縮URLチェッカーもソースコードを取得し、リダイレクト先やタイトルなどを取得しているという点では買いログと同じようなプログラムです。
ブラウザで動作するサイトであれば、URLを見たり、ソースコードを右クリックで見たりすることができますが、iTunes StoreだけはiTunes自体にブラウザが搭載され、右クリックができなかったり、アクセスしているURLが確認できなかったりと、通常のサイトとは違ったため、購入履歴の取得方法に約1年ほど悩みました。
先日リリースした、短縮URLチェッカーで、元に戻した後のURLが危険なURLかどうかを判断するために、Google Safe Browsing APIを使うことにしました。このSafe Browsing APIはマルウェア配布サイト、フィッシングサイトのチェックができます。
日本語の解説ページがあまり無いようでしたので、今回はキーの取得から簡単な使い方までを書きたいと思います。
1.Safe Browsing APIキーを取得
まずは、Safe Browsing APIキーを取得します。キー取得の画面を表示し、「I have read and agree with the terms and conditions」にチェックを入れ、「Generate API Key」ボタンをクリックします。
最近ではtwitter等で短縮URLが使われ、アクセス先のURLがフィッシングサイトだったり、危険なツールを配布するサイトにジャンプ(リダイレクト)したり、アダルトサイト(ワンクリック詐欺サイト)に誘導したりする場合があります。短縮URLを見ただけでは危険なサイトなのか判断つきませんので、どのページにジャンプ(リダイレクト)されるかをチェックする機能を作りました。
【[短縮URLチェッカー] 短縮URLから元のURLを知る】
この機能を作ってから、他にも同じようなツールがあることがわかりましたが、短縮URLチェッカーの特徴は下記の通りです。
