毎日、たくさんアクセスに来るんですが
中国からで 百度.com みたいな 音楽 mp3サイトでリンク収集目的だとか→
robots.txt
User-agent: Baiduspider
Disallow: /
も無視だとか 記事がありましたが。。。
http://blog.a24papa.com/index.php?itemid=16
クロールされてもメリット無いなら
本当に robots.txt が無視されるのか試してもよいかもなぁ
.htaccessに下記内容を追加して
SetEnvIf User-Agent "Baiduspider" AHOSPIDER
order allow,deny
allow from all
deny from env=AHOSPIDER
も効果なかったとか
一日、いくつの要求を世界中に送ってるんだか・・・
( cgiからエラー応答するなら簡単ですが )