给有道管理员的信（蜘蛛频率问题）

--James Qi 2008年11月22日 (日) 18:36 (CST)

　　前段时间给Soso蜘蛛写了邮件后，很快得到回复，好像就没有来强力骚扰了。然后在Robots.txt中设置了delay参数后，雅虎爬虫也改正了很多。看到有效果，随后给有道、搜狗的管理员也写了邮件，但都没有得到答复。服务器负载平静一段时间后，偶然还是会有突发升高，甚至持续一段时间的情况，就只有再把Squid的Log调出来查，发现几个伪装成IE的爬虫就屏蔽掉其IP，还看到有道的爬虫算是较多的，就反复给有道的好几个信箱多发了几封邮件，昨天终于收到回信，称已经采取措施了。

　　从后台统计来看，每天数万的页面浏览量中，不到10个是从有道、搜狗之类的搜索引擎来的，看来他们的竞争也是够激烈的，除了百度、谷歌以外，其它搜索引擎都够凄惨的。