python中urllib.request和requests的使用及区别详解


Posted in Python onMay 05, 2020

urllib.request

我们都知道,urlopen()方法能发起最基本对的请求发起,但仅仅这些在我们的实际应用中一般都是不够的,可能我们需要加入headers之类的参数,那需要用功能更为强大的Request类来构建了

在不需要任何其他参数配置的时候,可直接通过urlopen()方法来发起一个简单的web请求

发起一个简单的请求

import urllib.request
url='https://www.douban.com'
webPage=urllib.request.urlopen(url)
print(webPage)
data=webPage.read()
print(data)
print(data.decode('utf-8'))

urlopen()方法返回的是一个http.client.HTTPResponse对象,需要通过read()方法做进一步的处理。一般使用read()后,我们需要用decode()进行解码,通常为utf-8,经过这些步骤后,最终才获取到我们想要的网页。

添加Headers信息

import urllib.request
url='https://www.douban.com'
headers = {
   'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.186 Safari/537.36',
 }
response=urllib.request.Request(url=url,headers=headers)
webPage=urllib.request.urlopen(response)
print(webPage.read().decode('utf-8'))

使用Request类返回的又是一个urllib.request.Request对象了。

通常我们爬取网页,在构造http请求的时候,都需要加上一些额外信息,什么Useragent,cookie等之类的信息,或者添加代理服务器。往往这些都是一些必要的反爬机制

requests

通常而言,在我们使用python爬虫时,更建议用requests库,因为requests比urllib更为便捷,requests可以直接构造get,post请求并发起,而urllib.request只能先构造get,post请求,再发起。

import requests
url='https://www.douban.com'
headers = {
  'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.186 Safari/537.36',
}
get_response = requests.get(url,headers=headers,params=None)
post_response=requests.post(url,headers=headers,data=None,json=None)
print(post_response)
print(get_response.text)
print(get_response.content)
print(get_response.json)

get_response.text得到的是str数据类型。

get_response.content得到的是Bytes类型,需要进行解码。作用和get_response.text类似。

get_response.json得到的是json数据。

总而言之,requests是对urllib的进一步封装,因此在使用上显得更加的便捷,建议小伙伴们在实际应用当中尽量使用requests。

补充知识:python中urllib.request.Request()与urllib.request.urlopen()区别

蟒蛇中urllib.request.Request()与urllib.request.urlopen()的区别:

相对于urllib.request.urlopen()来说urllib.request.Request是进一步的包装请求,下面是请求类的源码示例:

class Request:
  
  # 主要看这块,构造函数中指明了Request进一步包装请求中可以传递的参数有(url,data,headers,            
  # origin_req_host,unverifiable,method)
 
  def __init__(self, url, data=None, headers={},
         origin_req_host=None, unverifiable=False,
         method=None):
    self.full_url = url
    self.headers = {}
    self.unredirected_hdrs = {}
    self._data = None
    self.data = data
    self._tunnel_host = None
    for key, value in headers.items():
      self.add_header(key, value)
    if origin_req_host is None:
      origin_req_host = request_host(self)
    self.origin_req_host = origin_req_host
    self.unverifiable = unverifiable
    if method:
      self.method = method
  pass

我们可以这样使用(以下是模拟有道字典翻译发送的请求):

# 请求地址url
url = "http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule"
 
# 请求头
request_headers = {
  'Host':'fanyi.youdao.com',
  "User-Agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36",
}
 
# 发送给服务器的表单
form_data = {
  "i": word,
  "from": "AUTO",
  "to": "AUTO",
  "smartresult": "dict",
  "doctype": "json",
  "version": "2.1",
  "keyfrom": "fanyi.web",
  "action": "FY_BY_REALTIME",
  "typoResult": "false"
}
 
# POST发送的data必须为bytes或bytes类型的可迭代对象,不能是字符串
form_data = urllib.parse.urlencode(form_data).encode()
 
# 构造请求对象Request
req = urllib.request.Request(url, data=form_data, headers=request_headers)
 
# 发起请求
response = urllib.request.urlopen(req)
data = response.read().decode()
print(data)

所以,总的来说,如果我们在获取请求对象时,不需要过多的参数传递,我么可以直接选择urllib.request.urlopen();如果需要进一步的包装请求,则需要用urllib.request里。的urlopen()进行包装处理。

以上这篇python中urllib.request和requests的使用及区别详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python实现京东秒杀功能
Jul 30 Python
Python实现对特定列表进行从小到大排序操作示例
Feb 11 Python
python图形用户接口实例详解
Dec 16 Python
python构造函数init实例方法解析
Jan 19 Python
Python多线程多进程实例对比解析
Mar 12 Python
使用python客户端访问impala的操作方式
Mar 28 Python
python_matplotlib改变横坐标和纵坐标上的刻度(ticks)方式
May 16 Python
PyCharm2020.1.2社区版安装,配置及使用教程详解(Windows)
Aug 07 Python
python制作图形界面的2048游戏, 基于tkinter
Apr 06 Python
详解运行Python的神器Jupyter Notebook
Jun 03 Python
Python基础数据类型tuple元组的概念与用法
Aug 02 Python
Python编写车票订购系统 Python实现快递收费系统
Aug 14 Python
python requests包的request()函数中的参数-params和data的区别介绍
May 05 #Python
关于Python解包知识点总结
May 05 #Python
python 使用事件对象asyncio.Event来同步协程的操作
May 04 #Python
在python里使用await关键字来等另外一个协程的实例
May 04 #Python
python 异步async库的使用说明
May 04 #Python
Python插件机制实现详解
May 04 #Python
python3+selenium获取页面加载的所有静态资源文件链接操作
May 04 #Python
You might like
Php Mssql操作简单封装支持存储过程
2009/12/11 PHP
批量修改RAR文件注释的php代码
2010/11/20 PHP
php中将地址生成迅雷快车旋风链接的代码[测试通过]
2011/04/20 PHP
PHP大小写问题:函数名和类名不区分,变量名区分
2013/06/17 PHP
php获取表单中多个同名input元素的值
2014/03/20 PHP
PHP读取配置文件类实例(可读取ini,yaml,xml等)
2015/07/28 PHP
23个超流行的jQuery相册插件整理分享
2011/04/25 Javascript
javascript 事件处理程序介绍
2012/06/27 Javascript
一个简单的实现下拉框多选的插件可移植性比较好
2014/05/05 Javascript
js实现iframe跨页面调用函数的方法
2014/12/13 Javascript
JS实现的不规则TAB选项卡效果代码
2015/09/18 Javascript
JSON遍历方式实例总结
2015/12/07 Javascript
工作中比较实用的JavaScript验证和数据处理的干货(经典)
2016/08/03 Javascript
Bootstrap CSS组件之输入框组
2016/12/17 Javascript
jQuery EasyUi 验证功能实例解析
2017/01/06 Javascript
Angular2-primeNG文件上传模块FileUpload使用详解
2017/01/14 Javascript
js实现网页定位导航功能
2017/03/07 Javascript
node 解析图片二维码的内容代码实例
2019/09/11 Javascript
详解JavaScript修改注册表的方法
2020/01/05 Javascript
Python中变量交换的例子
2014/08/25 Python
python在每个字符后添加空格的实例
2018/05/07 Python
基于python绘制科赫雪花
2018/06/22 Python
Python字符串的一些操作方法总结
2019/06/10 Python
python3 打印输出字典中特定的某个key的方法示例
2019/07/06 Python
python读取yaml文件后修改写入本地实例
2020/04/27 Python
python实现图像外边界跟踪操作
2020/07/13 Python
比驿:全球酒店比价网
2018/06/20 全球购物
餐饮主管岗位职责
2013/12/10 职场文书
寒假思想汇报
2014/01/10 职场文书
推荐信格式范文
2014/05/09 职场文书
班主任师德师风自我剖析材料
2014/10/02 职场文书
三年级上册科学教学计划
2015/01/21 职场文书
2015年妇联工作总结范文
2015/04/22 职场文书
2015年七年级班主任工作总结
2015/05/21 职场文书
spring cloud gateway中如何读取请求参数
2021/07/15 Java/Android
PYTHON使用Matplotlib去实现各种条形图的绘制
2022/03/22 Python