详解python异步编程之asyncio(百万并发)


Posted in Python onJuly 07, 2018

前言:python由于GIL(全局锁)的存在,不能发挥多核的优势,其性能一直饱受诟病。然而在IO密集型的网络编程里,异步处理比同步处理能提升成百上千倍的效率,弥补了python性能方面的短板,如最新的微服务框架japronto,resquests per second可达百万级。

python还有一个优势是库(第三方库)极为丰富,运用十分方便。asyncio是python3.4版本引入到标准库,python2x没有加这个库,毕竟python3x才是未来啊,哈哈!python3.5又加入了async/await特性。

在学习asyncio之前,我们先来理清楚同步/异步的概念:

同步是指完成事务的逻辑,先执行第一个事务,如果阻塞了,会一直等待,直到这个事务完成,再执行第二个事务,顺序执行。。。

异步是和同步相对的,异步是指在处理调用这个事务的之后,不会等待这个事务的处理结果,直接处理第二个事务去了,通过状态、通知、回调来通知调用者处理结果。

一、asyncio

下面通过举例来对比同步代码和异步代码编写方面的差异,其次看下两者性能上的差距,我们使用sleep(1)模拟耗时1秒的io操作。

同步代码:

import time

def hello():
  time.sleep(1)

def run():
  for i in range(5):
    hello()
    print('Hello World:%s' % time.time()) # 任何伟大的代码都是从Hello World 开始的!
if __name__ == '__main__':
  run()

输出:(间隔差不多是1s)

Hello World:1527595175.4728756
Hello World:1527595176.473001
Hello World:1527595177.473494
Hello World:1527595178.4739306
Hello World:1527595179.474482 

异步代码:

import time
import asyncio

# 定义异步函数
async def hello():
  asyncio.sleep(1)
  print('Hello World:%s' % time.time())

def run():
  for i in range(5):
    loop.run_until_complete(hello())

loop = asyncio.get_event_loop()
if __name__ =='__main__':
  run()

输出:

Hello World:1527595104.8338501
Hello World:1527595104.8338501
Hello World:1527595104.8338501
Hello World:1527595104.8338501
Hello World:1527595104.8338501 

async def 用来定义异步函数,其内部有异步操作。每个线程有一个事件循环,主线程调用asyncio.get_event_loop()时会创建事件循环,你需要把异步的任务丢给这个循环的run_until_complete()方法,事件循环会安排协同程序的执行。  

二、aiohttp

如果需要并发http请求怎么办呢,通常是用requests,但requests是同步的库,如果想异步的话需要引入aiohttp。这里引入一个类,from aiohttp import ClientSession,首先要建立一个session对象,然后用session对象去打开网页。session可以进行多项操作,比如post, get, put, head等。

基本用法:

async with ClientSession() as session:
async with session.get(url) as response:

aiohttp异步实现的例子:

import asyncio
from aiohttp import ClientSession


tasks = []
url = "https://www.baidu.com/{}"
async def hello(url):
  async with ClientSession() as session:
    async with session.get(url) as response:
      response = await response.read()
      print(response)

if __name__ == '__main__':
  loop = asyncio.get_event_loop()
  loop.run_until_complete(hello(url))

首先async def 关键字定义了这是个异步函数,await 关键字加在需要等待的操作前面,response.read()等待request响应,是个耗IO操作。然后使用ClientSession类发起http请求。

多链接异步访问

如果我们需要请求多个URL该怎么办呢,同步的做法访问多个URL只需要加个for循环就可以了。但异步的实现方式并没那么容易,在之前的基础上需要将hello()包装在asyncio的Future对象中,然后将Future对象列表作为任务传递给事件循环。

import time
import asyncio
from aiohttp import ClientSession

tasks = []
url = "https://www.baidu.com/{}"
async def hello(url):
  async with ClientSession() as session:
    async with session.get(url) as response:
      response = await response.read()
#      print(response)
      print('Hello World:%s' % time.time())

def run():
  for i in range(5):
    task = asyncio.ensure_future(hello(url.format(i)))
    tasks.append(task)


if __name__ == '__main__':
  loop = asyncio.get_event_loop()
  run()
  loop.run_until_complete(asyncio.wait(tasks))

输出:

Hello World:1527754874.8915546
Hello World:1527754874.899039
Hello World:1527754874.90004
Hello World:1527754874.9095392
Hello World:1527754874.9190395 

收集http响应

好了,上面介绍了访问不同链接的异步实现方式,但是我们只是发出了请求,如果要把响应一一收集到一个列表中,最后保存到本地或者打印出来要怎么实现呢,可通过asyncio.gather(*tasks)将响应全部收集起来,具体通过下面实例来演示。

import time
import asyncio
from aiohttp import ClientSession

tasks = []
url = "https://www.baidu.com/{}"
async def hello(url):
  async with ClientSession() as session:
    async with session.get(url) as response:
#      print(response)
      print('Hello World:%s' % time.time())
      return await response.read()

def run():
  for i in range(5):
    task = asyncio.ensure_future(hello(url.format(i)))
    tasks.append(task)
  result = loop.run_until_complete(asyncio.gather(*tasks))
  print(result)

if __name__ == '__main__':
  loop = asyncio.get_event_loop()
  run()

输出:

Hello World:1527765369.0785167
Hello World:1527765369.0845182
Hello World:1527765369.0910277
Hello World:1527765369.0920424
Hello World:1527765369.097017
[b'<!DOCTYPE html>\r\n<!--STATUS OK-->\r\n<html>\r\n<head>\r\n......

异常解决

假如你的并发达到1000个,程序会报错:ValueError: too many file descriptors in select()。这个报错的原因是因为 Python 调取的 select 对打开的文件字符有最大长度限制。这里我们有两种方法解决这个问题:1.我们可以需要限制并发数量。一次不要塞那么多任务,或者限制最大并发数量。2.我们可以使用回调的方式。这里个人推荐限制并发数的方法,设置并发数为500或者600,处理速度更快。

#coding:utf-8
import time,asyncio,aiohttp


url = 'https://www.baidu.com/'
async def hello(url,semaphore):
  async with semaphore:
    async with aiohttp.ClientSession() as session:
      async with session.get(url) as response:
        return await response.read()


async def run():
  semaphore = asyncio.Semaphore(500) # 限制并发量为500
  to_get = [hello(url.format(),semaphore) for _ in range(1000)] #总共1000任务
  await asyncio.wait(to_get)


if __name__ == '__main__':
#  now=lambda :time.time()
  loop = asyncio.get_event_loop()
  loop.run_until_complete(run())
  loop.close()

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python中正则表达式的详细教程
Apr 30 Python
Python中time模块和datetime模块的用法示例
Feb 28 Python
使用rst2pdf实现将sphinx生成PDF
Jun 07 Python
python3.6实现学生信息管理系统
Feb 21 Python
python实现扫描ip地址的小程序
Apr 16 Python
python 并发编程 多路复用IO模型详解
Aug 20 Python
Java多线程实现四种方式原理详解
Jun 02 Python
在Keras中实现保存和加载权重及模型结构
Jun 15 Python
通过实例解析Python文件操作实现步骤
Sep 21 Python
matplotlib如何设置坐标轴刻度的个数及标签的方法总结
Jun 11 Python
Python获取江苏疫情实时数据及爬虫分析
Aug 02 Python
Qt自定义Plot实现曲线绘制的详细过程
Nov 02 Python
基于Python开发chrome插件的方法分析
Jul 07 #Python
Python实现基于C/S架构的聊天室功能详解
Jul 07 #Python
Python实现的txt文件去重功能示例
Jul 07 #Python
Django 多语言教程的实现(i18n)
Jul 07 #Python
python利用requests库进行接口测试的方法详解
Jul 06 #Python
python生成密码字典的方法
Jul 06 #Python
Python 3.x 判断 dict 是否包含某键值的实例讲解
Jul 06 #Python
You might like
PHP面向对象之事务脚本模式(详解)
2017/06/07 PHP
PHP实现统计所有字符在字符串中出现次数的方法
2017/10/17 PHP
广泛收集的jQuery拖放插件集合
2012/04/09 Javascript
原生js仿jq判断当前浏览器是否为ie,精确到ie6~8
2014/08/30 Javascript
基于jQuery实现的菜单切换效果
2015/10/16 Javascript
js密码强度检测
2016/01/07 Javascript
AngularJS教程之环境设置
2016/08/16 Javascript
JavaScript编码风格指南(中文版)
2016/08/26 Javascript
详解nodejs微信公众号开发——1.接入微信公众号
2017/04/10 NodeJs
jQuery实现简单的下拉菜单导航功能示例
2017/12/07 jQuery
element-ui 表格数据时间格式化的方法
2018/08/24 Javascript
vue form 表单提交后刷新页面的方法
2018/09/04 Javascript
JavaScript this绑定过程深入详解
2018/12/07 Javascript
详解React项目如何修改打包地址(编译输出文件地址)
2019/03/21 Javascript
vue父组件触发事件改变子组件的值的方法实例详解
2019/05/07 Javascript
小程序实现上下移动切换位置
2019/09/23 Javascript
highcharts.js数据绑定方式代码实例
2019/11/13 Javascript
介绍Python的Urllib库的一些高级用法
2015/04/30 Python
Python解析命令行读取参数--argparse模块使用方法
2018/01/23 Python
pandas多级分组实现排序的方法
2018/04/20 Python
Python推导式简单示例【列表推导式、字典推导式与集合推导式】
2018/12/04 Python
Python3+PyInstall+Sciter解决报错缺少dll、html等文件问题
2019/07/15 Python
python实现最速下降法
2020/03/24 Python
python+requests接口压力测试500次,查看响应时间的实例
2020/04/30 Python
Python 常用日期处理 -- calendar 与 dateutil 模块的使用
2020/09/02 Python
python用Tkinter做自己的中文代码编辑器
2020/09/07 Python
IE浏览器单独写CSS样式的几种方法
2014/10/14 HTML / CSS
校园十大歌手策划书
2014/02/01 职场文书
微信营销策划方案
2014/02/24 职场文书
餐饮业员工工作决心书
2014/03/11 职场文书
会计员岗位职责
2014/03/15 职场文书
民主生活会对照检查材料
2014/09/22 职场文书
2015年中学校长工作总结
2015/05/19 职场文书
农村结婚典礼主持词
2015/06/29 职场文书
python基于机器学习预测股票交易信号
2021/05/25 Python
Golang 遍历二叉树
2022/04/19 Golang