限制搜索引擎爬虫抓取网站内容
2012年1月17日
没有评论
搜索引擎爬虫经常抓取收录网站在通常情况下应该是有利于网站对外推广传播的，但很遗憾，一些技术比较“烂”的搜索爬虫我们甚至可以认为它们更像流氓、无赖.比如，某些爬虫本身技术就存在缺陷，结果导致一次抓取小网站的时候能把整个网站给拖垮(不要告诉我这样的事情没有发生过)，另外还有像采用云服务托管的网站，比如SAE，流量和计算量都是要收费的。尼玛一个本来就没有多少流量的搜索引擎，天天过来抓内容，带来少的可怜的流量跟花去的流量费用对比，简直让人心懂，鉴于此类原因，本人做出一个艰难的决定，封杀某些搜索引擎。 阅读全文…