【从0开始Python开发实战】掌握Pythonurllib，HTTP开发进阶

目录：

从策划到设计制作，每一步都追求做到细腻，制作可持续发展的企业网站。为客户提供网站建设、做网站、网站策划、网页设计、域名注册、虚拟空间、网络营销、VI设计、 网站改版、漏洞修补等服务。为客户提供更好的一站式互联网解决方案,以客户的口碑塑造优易品牌,携手广大客户,共同发展进步。

1. urllib介绍

2. 功能开发http_util.py

3. 单元测试test_http_util.py，实际调用百度AI语音合成接口

4. 常见问题和解决方法

一，urllib介绍

Python在AI领域是主流开发语言，更多的软件应用开发也开始使用Python，有非常多且好用的标准库和第三方组件，urllib是Python自带的标准库，不需要安装，用于HTTP开发，主要模块和功能：

1. urllib.request: 发送HTTP请求，接收处理HTTP响应

2. urllib.error: 处理错误和异常，包含urllib.request抛出的异常

3. urllib.parse: 解析URL和编码数据

4. urllib.robotparser: 解析robots.txt

本文介绍urllib库中的request, error, parse三个模块在HTTP开发时的代码应用，并封装成http_util，单元测试函数实际调用百度AI语音合成接口，和项目开发一致：

1，调用鉴权接口获取token：https://openapi.baidu.com/oauth/2.0/token

2，调用语音合成接口转换文本为语音：https://tsn.baidu.com/text2audio

开源项目：https://github.com/jextop/starter_service

示例代码：https://github.com/rickding/HelloPython/tree/master/hello_http

├── util

│   └── http_util.py

│   └── file_util.py

│   └── code_util.py

├── tests

│   └── test_http_util.py

二，功能开发

1. urllib.request.urlopen()可以直接调用url地址，得到响应，读取数据，简单HTTP请求使用起来非常方便：

fromurllibimportrequest

resp = request.urlopen(r'http://www.baidu.com')
data = resp.read()
data_str = data.decode('utf-8')
print(data_str)

2. urllib.request.urlopen()支持Request类型参数，构造Request时配置更多的参数如header, data：

fromurllibimportparse
fromurllibimportrequest

req = request.Request(
    'https://tsn.baidu.com/text2audio',
    headers={
        'Content-Type':'application/x-www-form-urlencoded',
    },
    data=parse.urlencode({
        'tex':'Python开发HTTP请求和处理响应',
    }).encode('utf-8'),
    method='POST'
)
resp = request.urlopen(req)
data = resp.read()
data_str = data.decode('utf-8')
print(data_str)

3. 封装http_data()函数，发起http请求和处理响应，注意encode()函数是对parse.urlencode()的调用封装，将data转换为byte数据：

importlogging
fromurllibimporterror
fromurllibimportparse
fromurllibimportrequest

log = logging.getLogger(__name__)

defhttp_data(url,headers={},data=None,method=None):
    try:
        req = request.Request(url,headers=headers,method=method,data=encode(data))
        resp = request.urlopen(req)
        data = resp.read()
        log.info('http_data returns: %d, %s, %s'% (len(data),type(data),url))
        returndata
    except(ConnectionError,error.URLError)ase:
        log.error('ConnectionError in http_data: %s, %s'% (url,str(e)))
    exceptExceptionase:
        log.error('Exception in http_data: %s, %s'% (url,str(e)))

    return None

defencode(data):
    ifisinstance(data,dict):
        data = parse.urlencode(data)

    ifisinstance(data,str):
        data = data.encode('utf-8')

    returndata

4. 封装http_str()，将HTTP响应数据解析为字符串：

defhttp_str(url,headers={},data=None,method=None):
    data = http_data(url,headers,data,method)
    return None ifdatais None elsedata.decode('utf-8')

5. 封装http_json()，在响应数据为JSON内容时，解析为dict：

defhttp_json(url,headers={},data=None,method=None):
    data = http_data(url,headers,data,method)
    return None ifdatais None elsejson.loads(data)

6. 封装http_file()，下载文件时，返回数据为二进制文件内容，存储到服务器或客户端，代码详见http_util.http_file()函数，执行流程：

a) 拼装请求参数，得到响应，调用resp.read()读取二进制数据文件内容

b) 读取头信息Content-Disposition，是否返回了文件名称？比如：attachment;fileName=zip.zip

c) 读取头信息Content-Type，解析文件格式，比如：audio/wav

d) 将文件数据保存

三，单元测试test_http_util.py

调用http_util封装的功能函数，测试如下：

1. test_http_str()请求http://www.baidu.com，得到字符串信息：

classHttpUtilTest(TestCase):
    deftest_http_str(self):
        ret_str = http_str('http://www.baidu.com')
        log.info('http_str returns: %s'% ret_str[0:20])
        self.assertIsNotNone(ret_str)

2. Test_http_json()调用百度鉴权接口库，返回JSON格式数据，解析得到access_token

classHttpUtilTest(TestCase):
    deftest_http_json(self):
        ret_json = http_json('https://openapi.baidu.com/oauth/2.0/token',headers={
            'Content-Type':'application/x-www-form-urlencoded',
        },data={
            'grant_type':'client_credentials',
            'client_id':'kVcnfD9iW2XVZSMaLMrtLYIz',
            'client_secret':'O9o1O213UgG5LFn0bDGNtoRN3VWl2du6',
        },method='POST')

        log.info('http_json returns: %s'% ret_json)
        self.assertIsNotNone(ret_json)

        token = ret_json.get('access_token')
        print(token)

3. call_http_file()调用百度AI语音合成接口，得到文本转换成的语音数据，保存为文件：

classHttpUtilTest(TestCase):
    defcall_http_file(self,token):
        [ret,file_name,data] = http_file('https://tsn.baidu.com/text2audio',headers={
            'Content-Type':'application/x-www-form-urlencoded',
        },data={
            'tex':'Python开发异步任务调度和业务处理',
            'tok': token,
            'cuid':'starter_service_http_util',
            'ctp':'1',
            'lan':'zh',
            'spd':'6',
            'per':'1',
        },method='POST',save_to_disc=True,save_as_temp=False)

        log.info('http_file returns: %s, %s, %s'% (ret,str(file_name),type(data)))
        self.assertIsNotNone(retis False orlen(data) >0)

4. 运行python manage.py test，得到语音文件<项目路径>/tmp/http_download/xxx.mp3：

四，常见问题和解决方法

l 下载文件时，如果获取文件名称和类型？

解决：HTTP响应返回的头信息中含有文件名称和类型，但是注意这些信息可能没有返回，代码中要判断信息不存在的情况：

-头信息Content-Disposition，包含文件名称，比如：attachment;fileName=zip.zip

-头信息Content-Type，包含文件格式，比如：audio/wav

# parse file type, e.g. audio/wav
file_type =None
content_type = resp.getheader('Content-Type')
if'/'instr(content_type):
    file_type = content_type.split('/')[1]

# parse file name, e.g. attachment;fileName=zip.zip
file_name =None
disposition = resp.getheader('Content-Disposition')
if'='instr(disposition):
    file_name = disposition.split('=')[1]

# use a new file name
iffile_nameis None:
    file_name ='%s.%s'% (get_code(),file_typeor'dat')

l 调用请求传递参数时出错：

POST data should be bytes, an iterable of bytes, or a file object. It cannot be of type str.

另一个同类错误：

can't concat str to bytes

解决：调用urllib.parse.urlencode()将数据编码，或者调用封装的http_util.encode()

原因：urllib.request.Request()的data参数类型要求byte