SCRAPY配置-创新互联

1  yum groupinstall "Development tools" -y

  2  yum install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel -y

       wget https://www.python.org/ftp/python/2.7.11/Python-2.7.11.tgz
       tar vxf Python-2.7.11.tgz

  6  cd Python-2.7.11

  8  ./configure --prefix=/usr/local

  9  make && make install

  10  python -V

      wget  https://bootstrap.pypa.io/get-pip.py --no-check-certificate

  11  python get-pip.py

    wget https://pypi.python.org/packages/ff/d4/209f4939c49e31f5524fa0027bf1c8ec3107abaf7c61fdaad704a648c281/setuptools-21.0.0.tar.gz#md5=81964fdb89534118707742e6d1a1ddb4 --no-check-certificate

  21  tar zxvf setuptools-21.0.0.tar.gz

  23  cd setuptools-21.0.0

  24  python setup.py install

  25  pip install scrapy

  26  cat > myspider.py <

from scrapy import Spider, Item, Field

class Post(Item):

  title = Field()

class BlogSpider(Spider):

  name, start_urls = 'blogspider', ['http://www.cnblogs.com/rwxwsblog/']

  def parse(self, response):

    return [Post(title=e.extract()) for e in response.css("h3 a::text")]

EOF

  27  scrapy runspider myspider.py

  scrapy startproject gl

另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。