加減を知らないロボットクローラー

アクセス数の割に転送量が高いな、と思って調べてみたら国別アクセスで中国がトップで驚き。はぁ？と思って生ログ見てみたら、とんでもないロボットクローラーが訪問しまくりやがってました。Googleのロボットが通算200MBなのに、2GBとか酷すぎ。robot.txtも無視しまくってるようなので、とりあえず.htaccessでアクセス不許可にしてみました。
BaiDuSpider
deny from 202.108.249
deny from 60.28.17
deny from 60.24.0.0/13
Gigablast
deny from 66.154.102.123
deny from 66.154.103.154
とりあえず一週間様子を見てみましたが、かなり効果がでたのを確認しましたので一般公開しておきます。一部の国からアクセスできなさそうな設定ですが、もうめんどくさいんでこれでいいです。