无奈之下只能对网络爬虫说不

现在有些网络爬虫未免太过欺负人了，这几天网站一直不断重启，刚开始我们没有找到确切的原因，后来上网看了一下并查看自己的访问日志才锁定是网络爬虫所
致。我们并不反对网络爬虫特别是搜索引擎性质的爬虫，但是如果作为正规的网络爬虫不能遵守网络爬虫规范，那么我们只能对它说不了。目前我们的两个主要站点
都增加了过滤器，对于登陆的会员查看没有影响，但是对于网络爬虫就只能进行限制了。

这次特别要点名批评搜狐的搜索引擎搜狗，这几天的罪魁祸首就是它，害得我几天没有写blog了。


作者: Cherami
原载: 无奈之下只能对网络爬虫说不
版权所有。转载时必须以链接形式注明作者和原始出处及本声明。

日志评价

Votes | Average: 0 out of 5 Votes | Average: 0 out of 5 Votes | Average: 0 out of 5 Votes | Average: 0 out of 5 Votes | Average: 0 out of 5 (暂无评价) －－点击星星直接投票
Loading ... Loading ...


相关日志

  • 暂时没有相关日志。


随机日志



添加到网摘

[del.icio.us]  [新浪 VIVI]  [365key]  [YouNote]  [博采中心]  [Poco]  [SOHU狐摘]  [天极网摘]  [和讯网摘]
喜欢这个插件？

当前日志信息

标题：
无奈之下只能对网络爬虫说不
发表：
2005-11-05
分类：
杂感
标签：
none
点击：
367