Weboxで脳内オフライン旅行 - 旅サイトまるごとダウンロード

2010/03/10 - 2010/03/11

ここ数年、ラップトップを持って旅する人が増えています。そのパソコンに、参考になるウェブサイトを、あらかじめダウンロードしておけば、旅のプラン、調査に大きく役立ちます。そこで、ウェブ取り込みソフト - Weboxを使い、いろいろな旅サイトをダウンロードしまくってみました。

エリア その他の都市(インド)

Weboxというウェブページ保存ソフトがあります。開発はすでに終了していますが、その機能は今でも十分使えます。ノートパソコン持参の長期旅行者ならば、旅立つ前に参考サイトをすべてダウンロードしておきたいと思うかもしれません。インターネットが使えない場所もたくさんあるからです。

**この記事はインドとは直接関係ありません。便宜上、地域をインドに選んだだけです。また、写真も内容とは直接関係ありません。

[目次]

Webox概要
何が取り込めるか
使い方
オフラインで閲覧

ダウンロード
　1. 個人サイト
　2. フォートラベル
　3. したらば掲示板
　4. 2ch掲示板
　5. ブログ
　6. メールマガジン

まとめ

[Webox概要]

Webox(ウェボックス)は、いわゆるウェブ巡回ソフトで、指定したサイトをまるごと取り込んでＰＣに保存することができます。同様のソフトに、巡集、GetHTMLWなどありますが、私はあまり詳しくないのでWeboxを中心にお話します。

[何が取り込めるか]

巡回ソフトにも得意・不得意があります。Weboxの場合、JavaScriptとIFRAMEをちゃんとサポートしていません。ですので、それらが絡むと一部正しい画像が取り込めなかったり、リンクをうまく辿れなかったりします。しかし、大半のサイトは素直なデザインなので、大きな問題にはなりません。また、Googleの広告やYouTubeの動画など、オンラインでなければ機能しないコンテンツもあります。これらは、どの巡回ソフトでも無理なのであきらめるしかありません。最後に、人の介入が必要なもの、例えば何かを選択して[OK]ボタンを押すような、そういうページも辿ることはできません。上に説明した以外のものは、動画だろうと、PDFだろうと、たいてい取り込めます。

[使い方]

まず、ソフトをダウンロードしてインストールします。
http://webox.sakura.ne.jp/software/webox/

Weboxを立ち上げた後、アドレス欄に取り込みたいURLを入れてページを表示させます。そのアドレス欄の３つ隣のアイコンをクリックすると、「ダウンロード設定」の画面が出てきます。そこで、「部分ＵＲＬ」と「リンクを辿る回数」を指定します。

部分ＵＲＬを指定すると、そのディレクトリ傘下にあるページだけを取り込むようになります。ページの構成要素である画像ファイルやCSSファイルなどは、どこにあってもかまいません。「リンクを辿る回数」で、X回リンクを辿ったところで巡回を終了するように指示します。ほとんどのサイトの場合、余裕を持って大きな数字を指定しておいてもかまいません。取り込みたくないファイルがある時は、 (メニュー: 設定 -> 取り込み設定 ->　取り込み拒否)で指定できます。

最後に[OK]を押してサイトの取り込みを開始します。問題がなければ、ダウンロードしたいすべてのページがローカルにコピーされて終了です。

[オフラインで閲覧]

一度ダウンロードしたサイトは、ネットに繋ぐことなくPC上で閲覧できます。ページ名が*.htmlや*.htmで終わっているものは、IEや Firefoxなどのブラウザーで開けて見ることができます。それ以外のもの、例えば*.html?abc=xx、などのように拡張子の代わりにパラメターがついてしまっているファイルは、Webox内臓のブラウザーでしか見ることができません。

それでは、ウェブサイトのタイプ別にWeboxの使用例を見ていきます。

[個人サイト]

個人や会社が作ったウェブサイトをまるごと取り込みます。主に、無料ホスティング・サービスを使ったサイトを想定しています。個人ホームページの場合、動的コンテンツが少なく、構造もシンプルなので、Webox的には組しやすいところです。典型的な取り込み設定は、次のようになります。

==設定==
アドレス欄: http://サイト名/ (トップページ)
部分URL: http://サイト名/
リンクを辿る回数: 普通は5もあれば十分

==実験==
いくつかサイトを選んで実験してみました。

A. 世界攻略ジャーナル (このサイト)
アドレス欄: http://sekakoh.web.fc2.com/
部分URL: http://sekakoh.web.fc2.com/
リンクを辿る回数: 2
結果: 51ページと800個の画像ファイル、計14.6MBを13分でダウンロードしました。

B. 地球の歩き方　国別基本情報
アドレス欄: http://www.arukikata.co.jp/country/
部分URL: http://www.arukikata.co.jp/country/
リンクを辿る回数: 3 (多分2で十分)
結果: 920ページと1000個の画像ファイルページ、計64.8MBを17分でダウンロードしました。

C. @NIFTY デイリーポータルの過去記事
旅先で暇つぶしに読むためにダウンロードします。
アドレス欄: http://portal.nifty.com/backnumber/index.htm
部分URL: http://portal.nifty.com/2008/03/　
リンクを辿る回数: 10
結果: 2008年3月分の記事を取り込みました。232ページと2397個の画像ファイルページ、計269MBを26分でダウンロード終了。もし/2008/03/を/2009/に変えれば、2009年度分すべてのバックナンバーを落とせます。良い子はまねをしないように。

[フォートラベル]

４TRAVELに投稿されている旅行記をまとめてダウンロードしてみます。 旅行記の投稿サイトはいくつかありますが、フォートラベルが一番メジャーだと思われます。まぐまぐやMSN Travelにも、全く同じものがフィードされています。特定の旅行者の旅日記をすべてダウンロードするには、次のようにWeboxを設定します。

==設定==
アドレス欄: http://4travel.jp/traveler/[User_ID]/album/ (旅行記一覧ページ)
部分URL: http://4travel.jp/traveler/[User_ID]/album/
リンクを辿る回数: 通常3で十分。

==実験==
自分の旅行記をダウンロードしてみます。

世界攻略者さんの旅行ブログ
アドレス欄: http://4travel.jp/traveler/sekai_koryaku/album/
部分URL: http://4travel.jp/traveler/sekai_koryaku/album/
リンクを辿る回数: 2

結果: 47個の旅行記と726個の画像ファイルを10分でダウンロードしました。同時に、アクセスカウンターが50ほど増えました。

ダウンロード自体はうまくいったのですが、一つ大きな問題が見つかりました。フォートラベルの旅行記のウェブページは少し凝ったデザインになっています。まず、トップの写真以外は、解像度を低くしたファイルがダウンロードされます。一通りページを読み込んだ後、JavaScriptが走り、各画像をオリジナルの高解像度の物に入れ替えていく、というデザインになっています。Weboxが読み込むのは最初の低解像度のものだけなので、せっかくの写真が台無しです。Weboxではなく、ブラウザーの「ページを保存」機能を使えば、この問題を回避できますが、１ページずつ自分で保存する必要があり面倒です。JavaScript対応の巡集なら、うまく処理してくれるかもしれませんが、試していないのでわかりません。

[したらば掲示板]

私設BBSの開設が容易なライブドアしたらば掲示板。 スレッドの集合体である板を丸ごとダウンロードしたいと思います。設定は次のようにします。重複を避けるため、取り込み拒否の設定をします。/\/[n\-\d]+$/が何を意味しているのか知らなくてもかまいません。

==設定==
アドレス: http://jbbs.livedoor.jp/bbs/subject.cgi/カテゴリー名/掲示板番号/ (スレッド一覧ページ)
部分URL: http://jbbs.livedoor.jp/bbs/read.cgi/カテゴリー名/掲示板番号/ (各スレッドが存在する場所)
リンクの深さ: 2
取り込み拒否: /\/[n\-\d]+$/

==実験==
旅関係の２つの掲示板を試しました。

旅行人 遊星旅社 海外現地情報板
アドレス欄: http://jbbs.livedoor.jp/bbs/subject.cgi/travel/7695/
部分URL: http://jbbs.livedoor.jp/bbs/read.cgi/travel/7695/
リンクを辿る回数: 2
取り込み拒否: /\/[n\-\d]+$/
結果: 206個のスレッドを5分でダウンロード。

タイちゃんねる BBS
アドレス欄: http://jbbs.livedoor.jp/bbs/subject.cgi/travel/3341/
部分URL: http://jbbs.livedoor.jp/bbs/read.cgi/travel/3341/
リンクを辿る回数: 2
取り込み拒否: /\/[n\-\d]+$/
結果: 294個のスレッドを11分でダウンロード。

取り込みは成功しましたが、１つ不都合なことがあります。BBSのデザイン上、拡張子のないページが取り込まれ、一般のブラウザーで閲覧することができません。この問題は、スレッド一覧のページ(index.html)を開けて、中のl50をすべてindex.htmlに置き換えれば解決します。

[2ch掲示板]

ご存知２ちゃんねる掲示板。基本的にしたらばと同じスタイルの掲示板ですが、２つのアクセス規制がかかっているため対処が必要です。

1. 一定時間にたくさんアクセスすると、そのIPからのアクセスを受け付けなくなる。
2. DAT落ちした過去スレは、専用ブラウザを使わないと見られない。

設定は次のようにします。#1の規制から逃れるため、ダウンロードのスピードを落とします。「サイトダウンロードにおけるディレイ」はメニューから、設定 -> 取り込み設定 -> ネットワーク -> 負荷軽減用の設定、でセットできます。5秒である必要はありませんが、あまりディレイを小さくすると、規制にひっかかり、しばらく同じＩＰアドレスからのアクセスを拒否されます。

==設定==
アドレス欄: http://サーバー名.2ch.net/掲示板名/subback.html (スレッド一覧ページ)
部分URL: http://サーバー名.2ch.net/test/read.cgi/掲示板名/ (各スレッドが存在する場所)
リンクを辿る回数: 2
取り込み拒否: /\/[n\-\d]+$/
サイトダウンロードにおけるディレイ:　5000ms (5秒)

==実験==
2つの掲示板を試しました。

外国語（英語除く）＠2ch掲示板
アドレス欄: http://academy6.2ch.net/gogaku/subback.html
部分URL: http://academy6.2ch.net/test/read.cgi/gogaku/
リンクを辿る回数: 2
取り込み拒否: /\/[n\-\d]+$/
サイトダウンロードにおけるディレイ:　5000ms (5秒)
結果: 413個のスレッドを1時間50分でダウンロード。

海外旅行＠2ch掲示板
アドレス欄: http://love6.2ch.net/oversea/subback.html
部分URL: http://love6.2ch.net/test/read.cgi/oversea/
リンクを辿る回数: 2
取り込み拒否: /\/[n\-\d]+$/
サイトダウンロードにおけるディレイ:　3000ms (3秒)
結果: 631個のスレッドを2時間でダウンロード。

これで、同じ掲示板内のアクティブなスレッドをすべてダウンロードできました。2chの過去のスレッドを取り込むこともできますが、少々複雑です。詳しくはこちらをご覧ください。

http://sekakoh.web.fc2.com/travel/travel_it_webox.html#2ch_kako

したらば同様、スレッド一覧のページ(subback.html)を開けて、l50をindex.htmlに置換すれば一般のブラウザーからでも読むことができます。

[ブログ]

現在、自分でウェブサイトを作る人は、どちらかというと少数派です。リアルタイム旅日記などは、たいてい大手のブログサービスを活用しています。世界一周を目指しているような人は、他の旅行者のブログが参考になるでしょう。

ブログの過去記事をすべて取り込むことは可能ですが、ブログサービスによってその難易度が異なります。具体的には、日記一覧のメニューが整備されているブログは、ダウンロードしやすく、閲覧もしやすい。また、１ページにたくさんの日記エントリーが載っていると、リンクを辿る回数が減るので、これも助かります。そういう観点から言えば、はてなダイアリーやYahoo!ブログは扱いやすく、アメーバは最悪です(設定による)。

==設定==
アドレス欄: 個人ブログのトップページ
部分URL: 同じ
リンクを辿る回数: ブログサービスのデザインと記事の数によります。
** 基本的なリンクの辿り方としては、
(起点ＵＲＬ --> 月別アーカイブ・カテゴリー --> 日別アーカイブ・カテゴリー2ページ目、３ページ目....-->　個別の日記エントリー)。すべての日記エントリーがダウンロードできるように、「リンクを辿る回数」を設定します。一番エントリーが多い日やカテゴリーのページ数がボトルネックになると思われます。余裕をもって大きな数をセットしても、たいていは問題がありません。

==実験==
はてなダイアリーの、とある個人グログをダウンロードしてみました。

はてなダイアリー
アドレス欄: http://d.hatena.ne.jp/[User_ID]/archive/ (日記一覧ページ)
部分URL:http://d.hatena.ne.jp/[User_ID]/
リンクを辿る回数: 2
取り込み拒否: /amazon/
結果: 746件の日記と2028個の画像ファイル、計130MBを90分でダウンロードし終えました。

はてなの場合、大半の日記が拡張子のないファイルとして扱われるため、ダウンロードしたものはWebox組み込みのブラウザーでしか読むことができません。一方、アメーバ・ブログはすべてのファイルに.htmlがついているので、一般的なブラウザーからも直接閲覧できます。このあたりは、ブログサービスのデザインによって様々です。

[メールマガジン]

ブログが普及する以前は、メールマガジンから情報発信する人が大勢いました。当時書かれたものの中には、今でも役立つものが少なくありません。 大手メールマガジンのまぐまぐでは、 大半の作者がバックナンバーを公開しています。これを利用して特定のメルマガの過去配信分を一括ダウンロードを試みます。

=設定=
アドレス欄: http://archive.mag2.com/[Mag2_ID]/index.html (バックナンバーのページ)
部分URL: http://archive.mag2.com/[Mag2_ID]/
リンクを辿る回数: 記事の数による。(記事の数/20)/2 + 1が目安。

=実験=

とあるメルマガをダウンロードしてみました。

メルマガ A
アドレス欄: http://archive.mag2.com/[Mag2_ID]/index.html
部分URL: http://archive.mag2.com/[Mag2_ID]/
リンクを辿る回数: 12
結果: 433個の記事、計14.5MBを11分でダウンロード。

[まとめ]

細かな問題はありましたが、ほとんどの旅サイトが取り込み可能なことを確認できました。いろいろ実験しているうちに、すっかり旅行した気分になり、旅に出る気がなくなってしまいました。そういう意味では、情報が多いのも考え物です。

Weboxについてより詳しくは、こちらの記事をご覧ください。

http://sekakoh.web.fc2.com/travel/travel_it_webox.html



[リンク集]


==海外旅行記一覧==
http://4travel.jp/traveler/sekai_koryaku/album?dmos=os&sort=when&view_mode=list

==国内旅行記一覧==
http://4travel.jp/traveler/sekai_koryaku/album/?dmos=dm&sort=when&view_mode=list