BaiDuSpiderって危ないんじゃないの?
なんで?危なくないよ
だって合法なの?
もちろん合法だよ
前にもう来んなって .htaccess でIP拒否したのに、なんでまた来るの?
じゃあ、簡単に説明してあげるよ。公式サイトで謝罪文を掲載してるとおり、日本語サイト用のクローラーを実行してるんだ。
どうして謝罪したあとからアクセスが来てるの? 変じゃない?
それはさっきの質問に近いね。それは実際に検索サイトを立ち上げてみると分かるよ。
なんで?Googleボットよりもアクセス数多いって異常じゃない?
違うよ。全然違うよ。
えー、それじゃみんなIP拒否してきちゃうんじゃないの?
情報収集に対して絶対の自信があるから、そんなことは絶対にないって断言できるよ、僕は。そこまで真剣にやっているんだ!
※参考
というわけで、IP拒否してみました。
deny from 60.24.0.0/13 deny from 61.135.0.0/16 deny from 220.181.0.0/16 deny from 122.152.128.0/17
ついでにUAも拒否しておきました。
SetEnvIf User-Agent "Baiduspider" deny_user-agent order allow,deny allow from all deny from env=deny_user-agent
グッバイ、中国。
グッバイ、BaiDuSpider。
ありがとう、Wikipedia。
それにしても最近中国は塩とかペットフードとか、独自のクオリティを発揮しすぎじゃないでしょうか。
あとNaverBotがまたUA変えたとのことなので、ついでに下記設定も行いました。
deny from 220.73.146
グッバイ、韓国。
グッバイ、NaverBot あらため Yeti。
コメント
気がついたら我が家もBaiDuSpiderに進行されていました。
掲載されたIPを参考に、早速対策を実行。
最近Apacheのログの軽量化を勉強していたので、大変参考になりました!
User-Agent の方もあわせて変更してた方がいいですよ。
上記のIP以外でも進入されてたみたいだったので。