PR(記事内にアフィリエイト広告が含まれています)
スポンサーリンク
PC

またしても BaiDuSpider

嶽花ですけど
BaiDuSpiderって危ないんじゃないの?
マーク副社長
なんで?危なくないよ
嶽花ですけど
だって合法なの?
マーク副社長
もちろん合法だよ
嶽花ですけど
前にもう来んなって .htaccess でIP拒否したのに、なんでまた来るの?
マーク副社長
じゃあ、簡単に説明してあげるよ。公式サイトで謝罪文を掲載してるとおり、日本語サイト用のクローラーを実行してるんだ。
嶽花ですけど
どうして謝罪したあとからアクセスが来てるの? 変じゃない?
マーク副社長
それはさっきの質問に近いね。それは実際に検索サイトを立ち上げてみると分かるよ。
嶽花ですけど
なんで?Googleボットよりもアクセス数多いって異常じゃない?
マーク副社長
違うよ。全然違うよ。
嶽花ですけど
えー、それじゃみんなIP拒否してきちゃうんじゃないの?
マーク副社長
情報収集に対して絶対の自信があるから、そんなことは絶対にないって断言できるよ、僕は。そこまで真剣にやっているんだ!
※参考
というわけで、IP拒否してみました。

deny from 60.24.0.0/13
deny from 61.135.0.0/16
deny from 220.181.0.0/16
deny from 122.152.128.0/17

ついでにUAも拒否しておきました。

SetEnvIf User-Agent "Baiduspider" deny_user-agent
order allow,deny
allow from all
deny from env=deny_user-agent

グッバイ、中国。
グッバイ、BaiDuSpider。
ありがとう、Wikipedia
それにしても最近中国はとかペットフードとか、独自のクオリティを発揮しすぎじゃないでしょうか。
あとNaverBotがまたUA変えたとのことなので、ついでに下記設定も行いました。

deny from 220.73.146

グッバイ、韓国。
グッバイ、NaverBot あらため Yeti。

コメント

  1. mar より:

    気がついたら我が家もBaiDuSpiderに進行されていました。
    掲載されたIPを参考に、早速対策を実行。
    最近Apacheのログの軽量化を勉強していたので、大変参考になりました!

  2. 嶽花 より:

    User-Agent の方もあわせて変更してた方がいいですよ。
    上記のIP以外でも進入されてたみたいだったので。

タイトルとURLをコピーしました