python爬虫怎么定时获取网页数据

这篇文章给大家分享的是有关python爬虫怎么定时获取网页数据的内容。小编觉得挺实用的，因此分享给大家做个参考。一起跟随小编过来看看吧。

创新互联始终坚持【策划先行，效果至上】的经营理念，通过多达十载累计超上千家客户的网站建设总结了一套系统有效的全网营销推广解决方案，现已广泛运用于各行各业的客户，其中包括：水处理设备等企业，备受客户称誉。

在代码方面，我们用time函数表明想要查取的时间间隔和截止时间就可以了。

#!/usr/bin/python3
# -*- coding: utf-8 -*-
import requests
from  bs4 import BeautifulSoup
import time
from datetime import datetime
#请求数据

def get_data():
    #Headers 里面大小写均可
    url = ''
    headers={'Users-Agent':"Mozilla/5.0(X11;Ubuntu;Linux )x86_64;rv:52.0)Gecko/20100101 Firefox/52.0"}
    data=requests.get(url,headers=headers)
    # print(data.text)
    #解析数据
    soup=BeautifulSoup(data.text,'html.parser')
    print(datetime.now(),soup)
    return soup
if __name__ == '__main__':
    get_data()

while True:
    if datetime.now() < datetime(2018, 9,8, 23, 59, 59):  # 查询截止时间为2018-9-8 23:59:59
        get_data()
        time.sleep(600)  # 每隔一个小时查询一次
    else:
        print("已到截止时间，停止取数。")
        break

感谢各位的阅读！关于python爬虫怎么定时获取网页数据就分享到这里了，希望以上内容可以对大家有一定的帮助，让大家可以学到更多知识。如果觉得文章不错，可以把它分享出去让更多的人看到吧！