下面是些处理这些站点的建议(tips):
- 使用user agent池，轮流选择之一来作为user agent。池中包含常见的浏览器的user agent(google一下一大堆)
- 禁止cookies(参考 )，有些站点会使用cookies来发现爬虫的轨迹。
- 设置下载延迟(2或更高)。参考 设置。
- 如果可行，使用 来爬取数据，而不是直接访问站点。
- 使用IP池。例如免费的 或付费服务()。
- 使用高度分布式的下载器(downloader)来绕过禁止(ban)，您就只需要专注分析处理页面。这样的例子有:
http://scrapy-chs.readthedocs.org/zh_CN/latest/topics/practices.html
http://my.oschina.net/u/1024140/blog/188154