「FAST ESP Document Retriever」が酷い

最近、「FAST ESP Document Retriever」というクローラ?がすさまじい勢いで自宅サーバにサクセスしている。

正確にUser-Agentを書くと、


FAST ESP Document Retriever/CVS HEAD 2008-01-02 20:19:11 UTC

である。

このクローラ、baiduより酷く、すさまじい勢いでクロールしていくのです。

上記クローラの正体は不明。

ちなみにこのクローラ、GETやPOSTではなく、HEADメソッドでアクセスしてくるので、それほど負荷にはならないものの、httpdプロセスは立ち上がってしまうわけで。。。。

う~ん、、

HEADだけだから、とりあえずはほっといてますが、あまりにも酷いようなら拒否ろうと思います。

なんだかな~(^^;)


Apacheセキュリティ