スキップしてメイン コンテンツに移動

ダウンロードツールへの対応について

GetHTMLWやWebsite Explorerなど、サイトのデータを丸ごとダウンロードし、ローカル環境でブラウズできるツール(ダウンロードツール)というものがあります。libroでは、こうしたダウンロードツールの利用を禁止し、そのためのシステム改修を行いました。


※なぜ、ダウンロードツールが問題なのか?

利用される方の中には、「なぜ、ダウンロードツールがいけないんだ? ローカルにダウンロードできれば、ネットに繋がってなくても見られて便利じゃないか」と思う方もいるかも知れません。が、Webサイトを運営する側からすれば、そうもいかないのです。

libroは、Googleの提供する「Google App Engine」というサービスを利用しています。これはGoogleのさまざまなサービスを利用したWebサイトを開発できるもので、サイトごとにCPU時間、入出力のデータ量、その他各種機能の使用量が割り当てられ、その範囲内で利用できるようになっています。

ダウンロードツールは、細かい設定などをしていないと、サイトのデータを丸ごとダウンロードしようとします。現在、libroには千ページを越えるページがあり、数百点の図版がアップロードされています。これらすべてをダウンロードすると、libroサイトに割り当てられているCPU時間・出力データ量のほぼ3分の1が消費されてしまいます。割り当てられているリソース量を消費し尽くすと、その時点でサイトはアクセス不能となります。

このリソース割り当ては、1日ごとに計算されます。つまり、あるリソース割り当てが消費し尽くされると、翌日まで一切アクセスができなくなることになります。仮に、1日のうちに2~3人がダウンロードツールを利用すれば、その時点でサイトはアクセス不能に陥ります。またある程度のアクセスが既にあるところでこの種のツールを使われたら、やはりその時点でアクセス不能になるでしょう。

もちろん、回避する方法がないわけではありません。Googleに料金を払い、割り当てリソースを増やしてもらうことである程度の回避は可能です。ですが……、考えてみてください。なぜ、ダウンロードツールを利用する人のために、サイト運営者が費用を負担しなければならないのでしょう?

libroは、より多くの人が利用できることを第一に考えます。多くの人が利用したためにサイトの割り当てリソースが消費されるのであれば、これは願っても無いことであり、費用を負担してでもリソース割り当てを増やして対応いたします。が、一人で数百人分ものリソースを消費するダウンロードツールによってリソースが食いつぶされるのは受け入れられません。

現在、常時接続が普及し、ほとんどのユーザーが接続時間を考えなくともサイトにアクセスできるようになっています。こうしたことを考えると、「ネットに接続されていなくとも見られる」ことを目的としたダウンロードツールの使用を禁止してもそれほど困ることはない、と考えました。

また、リソース消費の問題とは別に、もう1点、問題となるのが「著作権」です。libroにアップロードされているテキストや図は、すべて著者が著作権を保持していますので、それらを無断でダウンロードするというのは、サイト運営者としてはなるべく避けて欲しいところです。

――以上のような観点から、libroでは、ダウンロードツールのたぐいの使用を禁止いたします。

具体的な対応ですが、この種のツールからのアクセスが確認できた段階で、そのIPアドレスからのアクセスを24時間停止するようにしました。Google App Engineは24時間単位でサーバーのリソース消費量をチェックしているので、24時間アクセスを禁止すれば、少なくともその日のリソースを消費し尽くして他の利用者がアクセスできなくなる、というのを予防できると考えました。

これ以上長期間にすると、定期的にIPアドレスが付け替えられるプロバイダなどで無関係の人のアクセスを禁止することになりかねないので、必要以上に長期間停止しないように配慮しています。

このことを知らずにダウンロードツールを利用し、サイトにアクセスができなくなってしまった場合は、大変申し訳ないのですが、翌日まで待って再度アクセス下さい。24時間経過すれば、自動的にアクセスできるように戻りますので。


以上、ご理解いただきますようお願いいたします。



このブログの人気の投稿

ドメイン追加およびSSL対応

既に本家サイト(www.tuyano.com)がほとんど働いていないこともあり、この際、libroのドメインを本家のwww.tuyano.comに変更しました。 あわせて、SSLに対応し、https://www.tuyano.com でアクセスできるようになりました。よりセキュアなアクセスが可能になります(libro.tuyano.comはSSL未対応です)。 もちろん、libro.tuyano.comも従来通り利用できます。が、基本的なリンク関係をwww.tuyano.comに変えたことと、libro.tuyano.comはSSL未対応であることから、自然とwww.tuyano.comに移行する形になると思います。

レイアウト修正

レイアウトを若干変更しました。左側に、主なグループへのリンクをまとめたメニューを表示させるようにしました。 記事のページ類はまだ表示が変わっていないものもあると思いますが、これはページキャッシュがサーバーに残っているためです。だいたい1両日中ぐらいに、随時更新されると思います。

Google+へ移行します

※既にご存知と思いますが、libroのGoogle+ページをだいぶ前に開設しています。 http://plus.google.com/106208283605550601522/posts 更新情報や、何かあればここに投稿をしています。ということで、このサポートブログの役割もほとんどなくなってしまった感があります。 今後は、G+ページで補足情報などすべて投稿していくことになり、このブログは休眠状態となると思います。