scrapy在python爬虫使用的注意事项有哪些

这篇文章将为大家详细讲解有关scrapy在python爬虫使用的注意事项有哪些，小编觉得挺实用的，因此分享给大家做个参考，希望大家阅读完这篇文章后可以有所收获。

成都创新互联始终坚持【策划先行，效果至上】的经营理念，通过多达十多年累计超上千家客户的网站建设总结了一套系统有效的营销推广解决方案，现已广泛运用于各行各业的客户，其中包括：混凝土搅拌罐等企业，备受客户赞誉。

1.如果需要大批量分布式爬取，建议采用redis数据库存储，可安装scrapy-redis，使用redis数据库来替换scrapy原本使用的队列结构（deque），并配合其它数据库存储，例如MySQL或者MongoDB，爬取效率将会极大提高。并且其自带的dupefilter.py负责执行requst的去重，使用redis的set数据结构，通过settings文件正确设置后，即便停止scrapy爬虫，当下次重新开始后也能自动去重。原因就是在redis已经存储了request的信息。

2.当涉及到代理IP，Headers头中间请求信息处理的时候，可以通过中间件Middleware来实现。Spider中间件是介入到Scrapy的spider处理机制的钩子框架，可以添加代码来处理发送给 Spiders的response及spider产生的item和request。

3.合理设置settings文件，需要熟练掌握settings的各种设置。

4.可以重新定义def start_requests(self)函数来加载cookie信息，form信息的提交用scrapy.FormRequest以及scrapy.FormRequest.from_response这两个函数，scrapy.FormRequest.from_response能实现自动提交form数据。

5.采用Scrapy+phantomJS。 downloadMiddleware 对从 scheduler 送来的 Request 对象在请求之前进行预处理，可以实现添加 headers， user_agent，还有 cookie 等功能 。但也可以通过中间件直接返回 HtmlResponse 对象，略过请求的模块，直接扔给 response 的回调函数处理。

class CustomMetaMiddleware(object):
    def process_request(self,request,spider):
        dcap = dict(DesiredCapabilities.PHANTOMJS)     
        dcap["phantomjs.page.settings.loadImages"] = False  
        dcap["phantomjs.page.settings.resourceTimeout"] = 10
        driver = webdriver.PhantomJS("D:xx\xx",desired_capabilities=dcap)
        driver.get(request.url)
        body = driver.page_source.encode('utf8')
        url = driver.current_url
        driver.quit()
        return HtmlResponse(request.url,body=body)

关于scrapy在python爬虫使用的注意事项有哪些就分享到这里了，希望以上内容可以对大家有一定的帮助，可以学到更多知识。如果觉得文章不错，可以把它分享出去让更多的人看到。