python分布式多爬虫系统怎么弄

这篇文章将为大家详细讲解有关python分布式多爬虫系统怎么弄，小编觉得挺实用的，因此分享给大家做个参考，希望大家阅读完这篇文章后可以有所收获。

在崇川等地区，都构建了全面的区域性战略布局，加强发展的系统性、市场前瞻性、产品创新能力，以专注、极致的服务理念，为客户提供网站设计、网站制作 网站设计制作按需求定制设计,公司网站建设,企业网站建设,品牌网站建设,成都全网营销,成都外贸网站制作,崇川网站建设费用合理。

在爬虫的开发过程中，有些业务场景需要同时抓取几百个甚至上千个网站，此时就需要一个支持多爬虫的框架。以下将通过解释两张图来说明架构的设计思想。

1、框架主要分成两部分：下载器Downloader和解析器Analyzer。Downloader负责抓取网页，Analyzer负责解析网页并入库。两者之间依靠消息队列MQ进行通信，两者可以分布在不同机器，也可分布在同一台机器。两者的数量也是灵活可变的，例如可能有五台机在做下载、两台机在做解析，这都是可以根据爬虫系统的状态及时调整的。

2、从上图可以看到MQ有两个管道：HTML/JS文件和待爬种子。Downloader从待爬种子里拿到一条种子，根据种子信息调用相应的抓取模块进行网页抓取，然后存入HTML/JS文件这个通道；Analyzer从HTML/JS文件里拿到一条网页内容，根据里面的信息调用相应的解析模块进行解析，将目标字段入库，需要的话还会解析出新的待爬种子加入MQ。

3、可以看到Downloader是包含User-Agent池、Proxy池、Cookie池的，可以适应复杂网站的抓取。

4、模块的调用使用工厂模式。

这张图是上一张图的另一种表述。

Htmls队列和Seed是队列可以独立分开，甚至数量也可以多开，之间没有联系。完全可以灵活地根据爬虫状态和硬件环境作调整。另外8G的内容可以让redis作为Seeds队列存放5~8千万个种子。

分布式爬虫非常关键的一点：去重。可以看到多个解析器Analyzer共用一个去重队列，才能够保证数据的统一不重复。去重队列可以放在一台机上。基于Redis实现了Bloomfilter算法，理论上8G的内存可以满足30亿条URL的去重，如果允许漏失概率再大点的话能去重更多。

关于python分布式多爬虫系统怎么弄就分享到这里了，希望以上内容可以对大家有一定的帮助，可以学到更多知识。如果觉得文章不错，可以把它分享出去让更多的人看到。