ダウンロードツールへの対応について

GetHTMLWやWebsite Explorerなど、サイトのデータを丸ごとダウンロードし、ローカル環境でブラウズできるツール（ダウンロードツール）というものがあります。libroでは、こうしたダウンロードツールの利用を禁止し、そのためのシステム改修を行いました。


※なぜ、ダウンロードツールが問題なのか？

利用される方の中には、「なぜ、ダウンロードツールがいけないんだ？　ローカルにダウンロードできれば、ネットに繋がってなくても見られて便利じゃないか」と思う方もいるかも知れません。が、Webサイトを運営する側からすれば、そうもいかないのです。

libroは、Googleの提供する「Google App Engine」というサービスを利用しています。これはGoogleのさまざまなサービスを利用したWebサイトを開発できるもので、サイトごとにCPU時間、入出力のデータ量、その他各種機能の使用量が割り当てられ、その範囲内で利用できるようになっています。

ダウンロードツールは、細かい設定などをしていないと、サイトのデータを丸ごとダウンロードしようとします。現在、libroには千ページを越えるページがあり、数百点の図版がアップロードされています。これらすべてをダウンロードすると、libroサイトに割り当てられているCPU時間・出力データ量のほぼ３分の１が消費されてしまいます。割り当てられているリソース量を消費し尽くすと、その時点でサイトはアクセス不能となります。

このリソース割り当ては、１日ごとに計算されます。つまり、あるリソース割り当てが消費し尽くされると、翌日まで一切アクセスができなくなることになります。仮に、１日のうちに２～３人がダウンロードツールを利用すれば、その時点でサイトはアクセス不能に陥ります。またある程度のアクセスが既にあるところでこの種のツールを使われたら、やはりその時点でアクセス不能になるでしょう。

もちろん、回避する方法がないわけではありません。Googleに料金を払い、割り当てリソースを増やしてもらうことである程度の回避は可能です。ですが……、考えてみてください。なぜ、ダウンロードツールを利用する人のために、サイト運営者が費用を負担しなければならないのでしょう？

libroは、より多くの人が利用できることを第一に考えます。多くの人が利用したためにサイトの割り当てリソースが消費されるのであれば、これは願っても無いことであり、費用を負担してでもリソース割り当てを増やして対応いたします。が、一人で数百人分ものリソースを消費するダウンロードツールによってリソースが食いつぶされるのは受け入れられません。

現在、常時接続が普及し、ほとんどのユーザーが接続時間を考えなくともサイトにアクセスできるようになっています。こうしたことを考えると、「ネットに接続されていなくとも見られる」ことを目的としたダウンロードツールの使用を禁止してもそれほど困ることはない、と考えました。

また、リソース消費の問題とは別に、もう１点、問題となるのが「著作権」です。libroにアップロードされているテキストや図は、すべて著者が著作権を保持していますので、それらを無断でダウンロードするというのは、サイト運営者としてはなるべく避けて欲しいところです。

――以上のような観点から、libroでは、ダウンロードツールのたぐいの使用を禁止いたします。

具体的な対応ですが、この種のツールからのアクセスが確認できた段階で、そのIPアドレスからのアクセスを24時間停止するようにしました。Google App Engineは24時間単位でサーバーのリソース消費量をチェックしているので、24時間アクセスを禁止すれば、少なくともその日のリソースを消費し尽くして他の利用者がアクセスできなくなる、というのを予防できると考えました。

これ以上長期間にすると、定期的にIPアドレスが付け替えられるプロバイダなどで無関係の人のアクセスを禁止することになりかねないので、必要以上に長期間停止しないように配慮しています。

このことを知らずにダウンロードツールを利用し、サイトにアクセスができなくなってしまった場合は、大変申し訳ないのですが、翌日まで待って再度アクセス下さい。24時間経過すれば、自動的にアクセスできるように戻りますので。


以上、ご理解いただきますようお願いいたします。