重庆分公司,新征程启航

为企业提供网站建设、域名注册、服务器等服务

python分布式爬虫中的Redis如何使用

这篇文章主要介绍python分布式爬虫中的redis如何使用,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!

创新互联专注于企业成都全网营销、网站重做改版、达坂城网站定制设计、自适应品牌网站建设、H5开发商城开发、集团公司官网建设、外贸网站制作、高端网站制作、响应式网页设计等建站业务,价格优惠性价比高,为达坂城等各大城市提供网站开发制作服务。

利用redis做分布式系统,最经典的就是scrapy-Redis,这是比较成熟的框架。同时我们也可以利用Redis的队列功能或者订阅发布功能来打造自己的分布式系统。

Redis作为通信载体的优点是读写迅速,对爬虫的速度影响可忽略不计,使用比较普遍。

主程序示例:

import scrapy
from scrapy.http import Request
from scrapy.selector import HtmlXPathSelector
from scrapy.dupefilter import RFPDupeFilter
from scrapy.core.scheduler import Scheduler
import redis
from ..items import XiaobaiItem
 
from scrapy_redis.spiders import RedisSpider
class RenjianSpider(RedisSpider):
    name = 'baidu'
    allowed_domains = ['baidu.com']
 
    def parse(self, response):
 
        news_list = response.xpath('//*[@id="content-list"]/div[@class="item"]')
 
        for news in news_list:
 
            content = response.xpath('.//div[@class="part1"]/a/text()').extract_first().strip()
            url = response.xpath('.//div[@class="part1"]/a/@href').extract_first()
 
            yield XiaobaiItem(url=url,content=content)
 
        yield Request(url='http://dig..com/',callback=self.parse)

以上是“python分布式爬虫中的Redis如何使用”这篇文章的所有内容,感谢各位的阅读!希望分享的内容对大家有帮助,更多相关知识,欢迎关注创新互联行业资讯频道!


分享名称:python分布式爬虫中的Redis如何使用
文章链接:http://cqcxhl.com/article/jsdegj.html

其他资讯

在线咨询
服务热线
服务热线:028-86922220
TOP