Mac环境下如何使用PythonScrapy框架

这篇文章主要介绍了Mac环境下如何使用Python Scrapy框架，具有一定借鉴价值，感兴趣的朋友可以参考下，希望大家阅读完这篇文章之后大有收获，下面让小编带着大家一起了解一下。

创新互联专注为客户提供全方位的互联网综合服务，包含不限于成都做网站、成都网站设计、固镇网络推广、微信平台小程序开发、固镇网络营销、固镇企业策划、固镇品牌公关、搜索引擎seo、人物专访、企业宣传片、企业代运营等，从售前售中售后，我们都将竭诚为您服务，您的肯定，是我们最大的嘉奖；创新互联为所有大学生创业者提供固镇建站搭建服务，24小时服务热线：028-86922220，官方网址：www.cdcxhl.com

前言

Scrapy的下载

在终端中输入代码'pip3 install scrapy'。

创建Scrapy项目

假设你希望将项目保存至桌面名为Python的文件夹中。可以在终端中输入'cd '，并将Python文件夹拖拽至其后。换行后，继续输入'scrapy startproject ScrapyProject'，此处的ScrapyProject为该项目的名字，可根据情况自行定义。

创建爬虫文件

同样在ScrapyProject文件夹内，找到spiders文件夹，并在内创建一个新的爬虫文件，如下图的book.py。（需要与_pychache_及_init_文件同级。）

编辑爬虫文件

此处的爬虫文件为整个Scrapy项目的核心，数据的解析与提取都是在这一步进行的。

运行Scrapy程序

在ScrapyProject文件夹内，找到settings.py文档，并更改好user_agent相关信息。之后再在终端输入代码scrapy crawl book即可。（book为此爬虫的名字。）

注：上述内容皆为Mac环境下的操作。

感谢你能够认真阅读完这篇文章，希望小编分享的“Mac环境下如何使用Python Scrapy框架”这篇文章对大家有帮助，同时也希望大家多多支持创新互联，关注创新互联行业资讯频道，更多相关知识等着你来学习!