python aiohttp的使用详解


Posted in Python onJune 20, 2019

1.aiohttp的简单使用(配合asyncio模块)

import asyncio,aiohttp

async def fetch_async(url):
 print(url)
 async with aiohttp.request("GET",url) as r:
  reponse = await r.text(encoding="utf-8")#或者直接await r.read()不编码,直接读取,适合于图像等无法编码文件
  print(reponse)

tasks = [fetch_async('http://www.baidu.com/'), fetch_async('http://www.chouti.com/')]

event_loop = asyncio.get_event_loop()
results = event_loop.run_until_complete(asyncio.gather(*tasks))
event_loop.close()

2.发起一个session请求

import asyncio,aiohttp

async def fetch_async(url):
 print(url)
 async with aiohttp.ClientSession() as session:#协程嵌套,只需要处理最外层协程即可fetch_async
  async with session.get(url) as resp:
   print(resp.status)
   print(await resp.text())
#因为这里使用到了await关键字,实现异步,所有他上面的函数体需要声明为异步async

tasks = [fetch_async('http://www.baidu.com/'), fetch_async('http://www.cnblogs.com/ssyfj/')]

event_loop = asyncio.get_event_loop()
results = event_loop.run_until_complete(asyncio.gather(*tasks))
event_loop.close()

除了上面的get方法外,会话还支持post,put,delete....等

session.put('http://httpbin.org/put', data=b'data')
session.delete('http://httpbin.org/delete')
session.head('http://httpbin.org/get')
session.options('http://httpbin.org/get')
session.patch('http://httpbin.org/patch', data=b'data')

不要为每次的连接都创建一次session,一般情况下只需要创建一个session,然后使用这个session执行所有的请求。

每个session对象,内部包含了一个连接池,并且将会保持连接和连接复用(默认开启)可以加快整体的性能。

3.在url中传递参数(其实与requests模块使用大致相同)

只需要将参数字典,传入params参数中即可[code]import asyncio,aiohttp

import asyncio,aiohttp

async def func1(url,params):
 async with aiohttp.ClientSession() as session:
  async with session.get(url,params=params) as r:
   print(r.url)
   print(await r.read())

tasks = [func1('https://www.ckook.com/forum.php',{"gid":6}),]

event_loop = asyncio.get_event_loop()
results = event_loop.run_until_complete(asyncio.gather(*tasks))
event_loop.close()

4.获取响应内容(由于获取响应内容是一个阻塞耗时过程,所以我们使用await实现协程切换)

(1)使用text()方法

async def func1(url,params):
 async with aiohttp.ClientSession() as session:
  async with session.get(url,params=params) as r:
   print(r.url)
   print(r.charset)#查看默认编码为utf-8
   print(await r.text())
#不编码,则是使用默认编码
使用encoding指定编码

(2)使用read()方法,不进行编码,为字节形式

async def func1(url,params):
 async with aiohttp.ClientSession() as session:
  async with session.get(url,params=params) as r:
   print(r.url)
   print(await r.read())

(3)注意:text(),read()方法是把整个响应体读入内存,如果你是获取大量的数据,请考虑使用”字节流“(StreamResponse)

5.特殊响应内容json(和上面一样)

async def func1(url,params):
 async with aiohttp.ClientSession() as session:
  async with session.get(url,params=params) as r:
   print(r.url)
   print(r.charset)
   print(await r.json())#可以设置编码,设置处理函数

6.字节流形式获取数据(不像text,read一次获取所有数据)注意:我们获取的session.get()是Response对象,他继承于StreamResponse

async def func1(url,params):
 async with aiohttp.ClientSession() as session:
  async with session.get(url,params=params) as r:
   print(await r.content.read(10)) #读取前10字节

下面字节流形式读取数据,保存文件

async def func1(url,params,filename):
 async with aiohttp.ClientSession() as session:
  async with session.get(url,params=params) as r:
   with open(filename,"wb") as fp:
    while True:
     chunk = await r.content.read(10)
     if not chunk:
      break
     fp.write(chunk)

tasks = [func1('https://www.ckook.com/forum.php',{"gid":6},"1.html"),]

注意:

async with session.get(url,params=params) as r:#异步上下文管理器

with open(filename,"wb") as fp:
#普通上下文管理器

两者的区别:

在于异步上下文管理器中定义了

__aenter__和__aexit__方法

python aiohttp的使用详解

异步上下文管理器指的是在enterexit方法处能够暂停执行的上下文管理器

为了实现这样的功能,需要加入两个新的方法:__aenter____aexit__。这两个方法都要返回一个 awaitable类型的值。

推文:异步上下文管理器async with和异步迭代器async for

7.自定义请求头(和requests一样)

async def func1(url,params,filename):
 async with aiohttp.ClientSession() as session:
  headers = {'Content-Type':'text/html; charset=utf-8'}
  async with session.get(url,params=params,headers=headers) as r:
   with open(filename,"wb") as fp:
    while True:
     chunk = await r.content.read(10)
     if not chunk:
      break
     fp.write(chunk)

8.自定义cookie

注意:对于自定义cookie,我们需要设置在ClientSession(cookies=自定义cookie字典),而不是session.get()中

class ClientSession:

 def __init__(self, *, connector=None, loop=None, cookies=None,
     headers=None, skip_auto_headers=None,
     auth=None, json_serialize=json.dumps,
     request_class=ClientRequest, response_class=ClientResponse,
     ws_response_class=ClientWebSocketResponse,
     version=http.HttpVersion11,
     cookie_jar=None, connector_owner=True, raise_for_status=False,
     read_timeout=sentinel, conn_timeout=None,
     timeout=sentinel,
     auto_decompress=True, trust_env=False,
     trace_configs=None):

使用:

cookies = {'cookies_are': 'working'}
async with ClientSession(cookies=cookies) as session:

10.获取网站的响应状态码

async with session.get(url) as resp:
 print(resp.status)

11.查看响应头

resp.headers 来查看响应头,得到的值类型是一个dict:

resp.raw_headers

查看原生的响应头,字节类型

12.查看重定向的响应头(我们此时已经到了新的网址,向之前的网址查看)

resp.history#查看被重定向之前的响应头

13.超时处理

默认的IO操作都有5分钟的响应时间 我们可以通过 timeout 进行重写:

async with session.get('https://github.com', timeout=60) as r:
 ...

如果 timeout=None 或者 timeout=0 将不进行超时检查,也就是不限时长。

14.ClientSession 用于在多个连接之间(同一网站)共享cookie,请求头等

async def func1():
 cookies = {'my_cookie': "my_value"}
 async with aiohttp.ClientSession(cookies=cookies) as session:
  async with session.get("https://segmentfault.com/q/1010000007987098") as r:
   print(session.cookie_jar.filter_cookies("https://segmentfault.com"))
  async with session.get("https://segmentfault.com/hottest") as rp:
   print(session.cookie_jar.filter_cookies(https://segmentfault.com))
Set-Cookie: PHPSESSID=web2~d8grl63pegika2202s8184ct2q
Set-Cookie: my_cookie=my_value
Set-Cookie: PHPSESSID=web2~d8grl63pegika2202s8184ct2q
Set-Cookie: my_cookie=my_value

我们最好使用session.cookie_jar.filter_cookies()获取网站cookie,不同于requests模块,虽然我们可以使用rp.cookies有可能获取到cookie,但似乎并未获取到所有的cookies。

python aiohttp的使用详解

async def func1():
 cookies = {'my_cookie': "my_value"}
 async with aiohttp.ClientSession(cookies=cookies) as session:
  async with session.get("https://segmentfault.com/q/1010000007987098") as rp:
   print(session.cookie_jar.filter_cookies("https://segmentfault.com"))
   print(rp.cookies)#Set-Cookie: PHPSESSID=web2~jh3ouqoabvr4e72f87vtherkp6; Domain=segmentfault.com; Path=/
#首次访问会获取网站设置的cookie
  async with session.get("https://segmentfault.com/hottest") as rp:
   print(session.cookie_jar.filter_cookies("https://segmentfault.com"))
   print(rp.cookies)
#为空,服务端未设置cookie
  async with session.get("https://segmentfault.com/newest") as rp:
   print(session.cookie_jar.filter_cookies("https://segmentfault.com"))
   print(rp.cookies)
#为空,服务端未设置cookie

python aiohttp的使用详解

总结:

当我们使用rp.cookie时,只会获取到当前url下设置的cookie,不会维护整站的cookie

而session.cookie_jar.filter_cookies("https://segmentfault.com")会一直保留这个网站的所有设置cookies,含有我们在会话时设置的cookie,并且会根据响应修改更新cookie。这个才是我们需要的

而我们设置cookie,也是需要在aiohttp.ClientSession(cookies=cookies)中设置

ClientSession 还支持 请求头,keep-alive连接和连接池(connection pooling)

15.cookie的安全性

默认ClientSession使用的是严格模式的 aiohttp.CookieJar. RFC 2109,明确的禁止接受url和ip地址产生的cookie,只能接受 DNS 解析IP产生的cookie。可以通过设置aiohttp.CookieJar 的 unsafe=True 来配置:

jar = aiohttp.CookieJar(unsafe=True)
session = aiohttp.ClientSession(cookie_jar=jar)

16.控制同时连接的数量(连接池)

TCPConnector维持链接池,限制并行连接的总量,当池满了,有请求退出再加入新请求

async def func1():
 cookies = {'my_cookie': "my_value"}
 conn = aiohttp.TCPConnector(limit=2)#默认100,0表示无限
 async with aiohttp.ClientSession(cookies=cookies,connector=conn) as session:
  for i in range(7,35):
   url = "https://www.ckook.com/list-%s-1.html"%i
   async with session.get(url) as rp:
    print('---------------------------------')
    print(rp.status)

限制同时打开限制同时打开连接到同一端点的数量((host, port, is_ssl) 三的倍数),可以通过设置 limit_per_host 参数:

limit_per_host: 同一端点的最大连接数量。同一端点即(host, port, is_ssl)完全相同

conn = aiohttp.TCPConnector(limit_per_host=30)#默认是0

在协程下测试效果不明显

17.自定义域名解析地址

我们可以指定域名服务器的 IP 对我们提供的get或post的url进行解析:

from aiohttp.resolver import AsyncResolver
 
resolver = AsyncResolver(nameservers=["8.8.8.8", "8.8.4.4"])
conn = aiohttp.TCPConnector(resolver=resolver)

18.设置代理

aiohttp支持使用代理来访问网页:

async with aiohttp.ClientSession() as session:
 async with session.get("http://python.org",
       proxy="http://some.proxy.com") as resp:
  print(resp.status)

当然也支持需要授权的页面:

async with aiohttp.ClientSession() as session:
 proxy_auth = aiohttp.BasicAuth('user', 'pass')#用户,密码
 async with session.get("http://python.org",
       proxy="http://some.proxy.com",
       proxy_auth=proxy_auth) as resp:
  print(resp.status)

或者通过这种方式来验证授权:

session.get("http://python.org",
   proxy=http://user:pass@some.proxy.com)

19.post传递数据的方法

(1)模拟表单

payload = {'key1': 'value1', 'key2': 'value2'}
async with session.post('http://httpbin.org/post',
      data=payload) as resp:
 print(await resp.text())

注意:data=dict的方式post的数据将被转码,和form提交数据是一样的作用,如果你不想被转码,可以直接以字符串的形式 data=str 提交,这样就不会被转码。

(2)post json

payload = {'some': 'data'}
 
async with session.post(url, data=json.dumps(payload)) as resp:

其实json.dumps(payload)返回的也是一个字符串,只不过这个字符串可以被识别为json格式

(3)post 小文件

url = 'http://httpbin.org/post'
files = {'file': open('report.xls', 'rb')}
 
await session.post(url, data=files)
url = 'http://httpbin.org/post'
data = FormData()
data.add_field('file',
    open('report.xls', 'rb'),
    filename='report.xls',
    content_type='application/vnd.ms-excel')
 
await session.post(url, data=data)

如果将文件对象设置为数据参数,aiohttp将自动以字节流的形式发送给服务器。

(4)post 大文件

aiohttp支持多种类型的文件以流媒体的形式上传,所以我们可以在文件未读入内存的情况下发送大文件。

@aiohttp.streamer
def file_sender(writer, file_name=None):
 with open(file_name, 'rb') as f:
  chunk = f.read(2**16)
  while chunk:
   yield from writer.write(chunk)
   chunk = f.read(2**16)
 
# Then you can use `file_sender` as a data provider:
 
async with session.post('http://httpbin.org/post',
      data=file_sender(file_name='huge_file')) as resp:
 print(await resp.text())

(5)从一个url获取文件后,直接post给另一个url

r = await session.get('http://python.org')
await session.post('http://httpbin.org/post',data=r.content)

(6)post预压缩数据

在通过aiohttp发送前就已经压缩的数据, 调用压缩函数的函数名(通常是deflate 或 zlib)作为content-encoding的值:

async def my_coroutine(session, headers, my_data):
 data = zlib.compress(my_data)
 headers = {'Content-Encoding': 'deflate'}
 async with session.post('http://httpbin.org/post',
       data=data,
       headers=headers)
  pass

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python单向链表和双向链表原理与用法实例详解
Aug 31 Python
Python连接Mssql基础教程之Python库pymssql
Sep 16 Python
django orm 通过related_name反向查询的方法
Dec 15 Python
Python实现定时自动关闭的tkinter窗口方法
Feb 16 Python
六行python代码的爱心曲线详解
May 17 Python
Python动态参数/命名空间/函数嵌套/global和nonlocal
May 29 Python
使用python爬取抖音视频列表信息
Jul 15 Python
python自动化实现登录获取图片验证码功能
Nov 20 Python
Python实现微信好友的数据分析
Dec 16 Python
Python求两个字符串最长公共子序列代码实例
Mar 05 Python
Pandas的Apply函数具体使用
Jul 21 Python
Python 可迭代对象 iterable的具体使用
Aug 07 Python
Python 中Django验证码功能的实现代码
Jun 20 #Python
Puppeteer使用示例详解
Jun 20 #Python
获取django框架orm query执行的sql语句实现方法分析
Jun 20 #Python
Python使用LDAP做用户认证的方法
Jun 20 #Python
Python OpenCV中的resize()函数的使用
Jun 20 #Python
python中的句柄操作的方法示例
Jun 20 #Python
使用python获取(宜宾市地震信息)地震信息
Jun 20 #Python
You might like
php 攻击方法之谈php+mysql注射语句构造
2009/10/30 PHP
PHP 使用redis简单示例分享
2015/03/05 PHP
PHP基于openssl实现的非对称加密操作示例
2019/01/11 PHP
laravel入门知识点整理
2020/09/15 PHP
基于JQuery框架的AJAX实例代码
2009/11/03 Javascript
JavaScript replace(rgExp,fn)正则替换的用法
2010/03/04 Javascript
Jquery数独游戏解析(一)-页面布局
2010/11/05 Javascript
jquery ajax实现下拉框三级无刷新联动,且保存保持选中值状态
2013/10/29 Javascript
引用 js在IE与FF之间的区别详细解析
2013/11/20 Javascript
jQuery中delegate()方法用法实例
2015/01/19 Javascript
AngularJS中实现显示或隐藏动画效果的方式总结
2015/12/31 Javascript
JavaScript中的ParseInt("08")和“09”返回0的原因分析及解决办法
2016/05/19 Javascript
JS常用倒计时代码实例总结
2017/02/07 Javascript
走进javascript——不起眼的基础,值和分号
2017/02/24 Javascript
基于jQuery实现瀑布流页面
2017/04/11 jQuery
JS+Canvas实现五子棋游戏
2020/08/26 Javascript
[44:41]Fnatic vs Liquid 2018国际邀请赛小组赛BO2 第二场 8.16
2018/08/17 DOTA
python入门:这篇文章带你直接学会python
2018/09/14 Python
Django Sitemap 站点地图的实现方法
2019/04/29 Python
Form表单及django的form表单的补充
2019/07/25 Python
Python文本处理简单易懂方法解析
2019/12/19 Python
Python 解码Base64 得到码流格式文本实例
2020/01/09 Python
屏蔽Django admin界面添加按钮的操作
2020/03/11 Python
家得宝加拿大家装网上商店:The Home Depot加拿大
2016/08/27 全球购物
CK澳大利亚官网:Calvin Klein澳大利亚
2020/12/12 全球购物
怎样在程序里获得一个空指针
2015/01/24 面试题
汉语言文学毕业生求职信
2013/10/01 职场文书
土木工程个人自荐信范文
2013/11/30 职场文书
校园达人秀策划书
2014/01/12 职场文书
房屋转让协议书
2014/04/11 职场文书
《乡下孩子》教学反思
2014/04/17 职场文书
党的群众路线教育实践活动领导班子整改措施
2014/09/30 职场文书
开会通知短信大全
2015/04/20 职场文书
《伯牙绝弦》教学反思
2016/02/16 职场文书
销售会议开幕词
2016/03/04 职场文书
微信小程序APP的生命周期及页面的生命周期
2022/04/19 Javascript