python 常用的异步框架汇总整理


Posted in Python onJune 18, 2021
目录
  • 正文开始
  • 1. Tornado
  • 2. Aiohttp
  • 3.Sanic
  • 4. FastAPI
  • 5. Ruia
  • 总结
  • 参考资料

 

正文开始

asyncio 是 Python 3.4版本引入的标准库,直接内置了对异步IO的支持。

asyncio 在单线程内部维护了 EventLoop 队列,然后把需要执行异步IO的任务添加到 EventLoop 队列中,至于任务的完成通过类似回调的逻辑是实现后续的任务。如果你有 JavaScript的基础那么理解python的 asyncio 很简单,关键字、语法以及实现的原理都极其类似。

import asyncio

async def main():
    print('Hello ...')
    await asyncio.sleep(1)
    print('... World!')

# Python 3.7+
asyncio.run(main())

 

1. Tornado

Tornado 是一个Python web框架和异步网络库,起初由 FriendFeed 开发. 通过使用非阻塞网络I/O, Tornado可以支撑上万级的连接,处理 长连接, WebSockets ,和其他需要与每个用户保持长久连接的应用。

下面贴上官方 demo :

import tornado.ioloop
import tornado.web

class MainHandler(tornado.web.RequestHandler):
    def get(self):
        self.write("Hello, world")

def make_app():
    return tornado.web.Application([
        (r"/", MainHandler),
    ])

if __name__ == "__main__":
    app = make_app()
    app.listen(8888)
    tornado.ioloop.IOLoop.current().start()

 

2. Aiohttp

一个基于 asyncio 异步的web框架,支持 websocket,不需要写回掉的代码、有着丰富的生态、中间价等、开箱即用的服务端与客户端。

下面贴上官方 demo :

# 客服端代码
import aiohttp
import asyncio

async def main():

    async with aiohttp.ClientSession() as session:
        async with session.get('http://python.org') as response:

            print("Status:", response.status)
            print("Content-type:", response.headers['content-type'])

            html = await response.text()
            print("Body:", html[:15], "...")

loop = asyncio.get_event_loop()
loop.run_until_complete(main())
# 服务端代码
from aiohttp import web

async def handle(request):
    name = request.match_info.get('name', "Anonymous")
    text = "Hello, " + name
    return web.Response(text=text)

async def wshandle(request):
    ws = web.WebSocketResponse()
    await ws.prepare(request)

    async for msg in ws:
        if msg.type == web.WSMsgType.text:
            await ws.send_str("Hello, {}".format(msg.data))
        elif msg.type == web.WSMsgType.binary:
            await ws.send_bytes(msg.data)
        elif msg.type == web.WSMsgType.close:
            break

    return ws


app = web.Application()
app.add_routes([web.get('/', handle),
                web.get('/echo', wshandle),
                web.get('/{name}', handle)])

if __name__ == '__main__':
    web.run_app(app)

aiohttp的生态:

  • aiohttp-session 为 aiohttp 服务提供 sessions支持,同时支持数据持久化数据库。
  • aiohttp-debugtoolbar 为 aiohttp 提供调试的工具(记录 asyncio 异常的堆栈信息)。
  • aiohttp-security 为aiohttp提供认证以及权限相关的插件。
  • aiohttp-devtools aiohttp开发工具,提供开发环境的部署、静态资源的代理。
  • aiohttp-cors CORS 跨域认证支持。
  • aiohttp-sse 服务端事件的支持(一种服务端推送消息的服务)。
  • pytest-aiohttp pytest 测试框架的支持。
  • aiohttp-mako Mako 服务端模板渲染的支持。
  • aiohttp-jinja2 Jinja2 服务端模板渲染的支持(大名鼎鼎的flask的渲染引擎)。
  • aiozipkin 分布式系统中对服务追踪,为微服务中延时问题提供数据支持。

aiohttp数据库支持:

aiopg PostgreSQL异步支持。
aiomysql MySql 异步支持。
aioredis Redis 异步支持。
asyncpg 另外一个对 PostgreSQL 异步支持,比 aiopg 效率高,但是 api 不通用。

 

3.Sanic

Sanic 是一个 Python 3.7+ 的基于 asyncio 的 web 服务器和web框架,目标是提供一种简单的方法来启动和运行一个易于构建、扩展和终极性能HTTP服务器,是一个比较类似 falsk 的异步web框架。

To provide a simple way to get up and running a highly performant HTTP server that is easy to build, to expand, and ultimately to scale.

官方demo:

from sanic import Sanic
from sanic.response import json

app = Sanic("My Hello, world app")

@app.route('/')
async def test(request):
    return json({'hello': 'world'})

if __name__ == '__main__':
    app.run()

 

4. FastAPI

FastAPI 是一个用于构建API的高性能web框架,基于Python3.6+并支持标准的 Python 类型提示。同时是最快的 Python web框架之一,可与 NodeJS 和 Go 比肩(主要归功于 Starlette 和 Pydantic)。

from typing import Optional

from fastapi import FastAPI

app = FastAPI()


@app.get("/")
def read_root():
    return {"Hello": "World"}


@app.get("/items/{item_id}")
def read_item(item_id: int, q: Optional[str] = None):
    return {"item_id": item_id, "q": q}

# 启动 uvicorn main:app --reload
# pip install uvicorn[standard]

 

5. Ruia

一个基于asyncio和aiohttp的异步爬虫框架,目标在于让开发者编写爬虫尽可能地方便快速。国人开发中文文档的支持,方便快速的构建爬虫项目,自定义HTML解析工具,快速获取页面数据。

官方demo:

import asyncio

from ruia import Item, TextField, AttrField


class HackerNewsItem(Item):
    target_item = TextField(css_select='tr.athing')
    title = TextField(css_select='a.storylink')
    url = AttrField(css_select='a.storylink', attr='href')


async def test_item():
    url = 'https://news.ycombinator.com/news?p=1'
    async for item in HackerNewsItem.get_items(url=url):
        print('{}: {}'.format(item.title, item.url))


if __name__ == '__main__':
    # Python 3.7 Required.
    asyncio.run(test_item()) 

    # For Python 3.6
    # loop = asyncio.get_event_loop()
    # loop.run_until_complete(test_item())

 

总结

随着 python 社区对异步支持的愈发友好,异步框架的生态也愈发完善。Tornado 是我第一个接触到的一步框架,现如今伴随着最快 python web 框架之争,Tornado也渐渐跌落神坛。但是至于谁是最快的并不重要,重要的是生态,避免重复造轮子才是重要的。

PS:

  1. 我记得之前了解 Sanic 的时候它还是基于 aiohttp 开发的 web 框架,现如今已经重构了大部分代码,核心组件也都自己实现。
  2. tornado 虽然语法过时了,但是应该是最成熟、最早以及文档最多的一个异步框架。
  3. 之前用tornado的时候还需要造关于异步操作的轮子,现如今生态日趋完善。

最后如果你想使用异步的框架,那么记得所有的IO操作均需要异步操作实现,否则会大大影响性能。 (比如第三方的短信服务不能直接使用同步代码的sdk )

 

参考资料

Aiohttp docs

Sanic 中文

Uvloop

Tornado 中文

以上就是python 常用的异步框架汇总整理的详细内容,更多关于python异步框架汇总的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
python操作xml文件详细介绍
Jun 09 Python
Python中__slots__属性介绍与基本使用方法
Sep 05 Python
Python3爬虫爬取英雄联盟高清桌面壁纸功能示例【基于Scrapy框架】
Dec 05 Python
一篇文章搞懂Python的类与对象名称空间
Dec 10 Python
Pandas DataFrame数据的更改、插入新增的列和行的方法
Jun 25 Python
解决Django一个表单对应多个按钮的问题
Jul 18 Python
pandas中遍历dataframe的每一个元素的实现
Oct 23 Python
tensorflow 实现从checkpoint中获取graph信息
Feb 10 Python
Python基于class()实现面向对象原理详解
Mar 26 Python
Python matplotlib可视化实例解析
Jun 01 Python
在Pytorch中使用Mask R-CNN进行实例分割操作
Jun 24 Python
Matlab求解数组中的最大值及它所在的具体位置
Apr 16 Python
Opencv中cv2.floodFill算法的使用
Python下opencv使用hough变换检测直线与圆
python 网络编程要点总结
Jun 18 #Python
python opencv检测直线 cv2.HoughLinesP的实现
Jun 18 #Python
教你用Python+selenium搭建自动化测试环境
Jun 18 #Python
详解Python函数print用法
Jun 18 #Python
总结Python使用过程中的bug
You might like
不用数据库的多用户文件自由上传投票系统(2)
2006/10/09 PHP
php实现利用phpexcel导出数据
2013/08/24 PHP
php中mkdir函数用法实例分析
2014/11/15 PHP
深入理解Yii2.0乐观锁与悲观锁的原理与使用
2017/07/26 PHP
PHP实现打包zip并下载功能
2018/06/12 PHP
理解JavaScript中的事件
2006/09/23 Javascript
javascript 事件查询综合 推荐收藏
2010/03/10 Javascript
jQuery 开发者应该注意的9个错误
2012/05/03 Javascript
javascript内存管理详细解析
2013/11/11 Javascript
tangram框架响应式加载图片方法
2013/11/21 Javascript
jquery 插件实现瀑布流图片展示实例
2015/04/03 Javascript
百度地图给map添加右键菜单(判断是否为marker)
2016/03/04 Javascript
js获取对象、数组的实际长度,元素实际个数的实现代码
2016/06/08 Javascript
利用React-router+Webpack快速构建react程序
2016/10/27 Javascript
微信小程序开发之相册选择和拍照详解及实例代码
2017/02/22 Javascript
React中使用collections时key的重要性详解
2017/08/07 Javascript
js canvas实现简单的图像扩散效果
2020/06/28 Javascript
vue技术分享之你可能不知道的7个秘密
2018/04/09 Javascript
React styled-components设置组件属性的方法
2018/08/07 Javascript
Vue+Spring Boot简单用户登录(附Demo)
2020/11/12 Javascript
[36:54]Mineski vs Winstrike 2018国际邀请赛小组赛BO2 第一场 8.16
2018/08/17 DOTA
Python查找函数f(x)=0根的解决方法
2015/05/07 Python
Python中 map()函数的用法详解
2018/07/10 Python
用Python配平化学方程式的方法
2019/07/20 Python
对Pytorch神经网络初始化kaiming分布详解
2019/08/18 Python
如何定义TensorFlow输入节点
2020/01/23 Python
浅谈pycharm导入pandas包遇到的问题及解决
2020/06/01 Python
如何用python处理excel表格
2020/06/09 Python
护理专业应届毕业生推荐信
2013/11/15 职场文书
党的群众教育实践活动实施方案
2014/06/12 职场文书
学校花圃的标语
2014/06/18 职场文书
幼儿教师年度个人总结
2015/02/05 职场文书
运动会广播稿200字
2015/08/19 职场文书
oracle重置序列从0开始递增1
2022/02/28 Oracle
Python绘制散乱的点构成的图的方法
2022/04/21 Python
吉利入股戴姆勒后smart“长大了”
2022/04/21 数码科技