现在有些网络爬虫未免太过欺负人了,这几天网站一直不断重启,刚开始我们没有找到确切的原因,后来上网看了一下并查看自己的访问日志才锁定是网络爬虫所
致。我们并不反对网络爬虫特别是搜索引擎性质的爬虫,但是如果作为正规的网络爬虫不能遵守网络爬虫规范,那么我们只能对它说不了。目前我们的两个主要站点
都增加了过滤器,对于登陆的会员查看没有影响,但是对于网络爬虫就只能进行限制了。

这次特别要点名批评搜狐的搜索引擎搜狗,这几天的罪魁祸首就是它,害得我几天没有写blog了。

(Visited 14 times, 1 visits today)