urllib的介绍

# urllib的学习

# 学习目标

了解urllib的基本使用

# 1 urllib介绍

除了requests模块可以发送请求之外, urllib模块也可以实现请求的发送,只是操作方法略有不同!

urllib在python中分为urllib和urllib2，在python3中为urllib

下面以python3的urllib为例进行讲解

# 2 urllib的基本方法介绍

# 2.1 urllib.urlopoen

传入URL地址

import urllib.request
response = urllib.request.urlopen("http://www.baidu.com")
print(resp.read())

1
2
3

# 2.2 urllib.Request

构造简单请求

 import urllib.request
 #构造请求
 request = urllib.request.Request("http://www.baidu.com")
 #发送请求获取响应
 response = urllib.request.urlopen(request)
 print(resp.read())

1
2
3
4
5
6

传入headers参数

 import urllib.request
 #构造headers
 headers = {"User-Agent" : "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)"} 
 #构造请求
 request = urllib.request.Request(url, headers = headers)
 #发送请求
 response = urllib.request.urlopen(request)
 print(resp.read())

1
2
3
4
5
6
7
8

传入data参数实现发送post请求

 import urllib.request
 import urllib.parse

 headers = {"User-Agent": "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)"}
 # 构造请求数据字典
 data = {"email":"mr_mao_hacker@163.com", "password":"alarmchime"}
 # 对请求数据字典编码为bytes类型
 data = urllib.parse.urlencode(data).encode('utf-8')
 # 构造请求
 request = urllib.request.Request('http://www.renren.com/PLogin.do', data=data, headers=headers)
 # 发送请求获取响应
 resp = urllib.request.urlopen(request)
 # 获取响应的文本内容
 print(resp.read())

1
2
3
4
5
6
7
8
9
10
11
12
13
14

# 2.3 response.read()

获取响应的html字符串,bytes类型

import urllib.request
#构造请求
request = urllib.request.Request("http://www.baidu.com")
#发送请求获取响应
response = urllib.request.urlopen(request)
# 打印响应的文本内容 bytes类型
print(resp.read())
# 打印响应的文本内容 str类型
print(resp.read().decode())

1
2
3
4
5
6
7
8
9

# 小结

urllib.request中实现了构造请求和发送请求的方法
urllib.request.Request(url,headers,data)能够构造请求
urllib.request.urlopen能够接受request请求或者url地址发送请求，获取响应
urllib.parse.urlencode(data_dict).encode('utf-8')之后才能传入data参数
response.read()能够实现获取响应中的bytes字符串

编辑

← requests的其他方法小结→