python如何提升爬虫效率


Posted in Python onSeptember 27, 2020

单线程+多任务异步协程

  • 协程

在函数(特殊函数)定义的时候,使用async修饰,函数调用后,内部语句不会立即执行,而是会返回一个协程对象

  • 任务对象

任务对象=高级的协程对象(进一步封装)=特殊的函数
任务对象必须要注册到时间循环对象中
给任务对象绑定回调:爬虫的数据解析中

  • 事件循环

当做是一个装载任务对象的容器
当启动事件循环对象的时候,存储在内的任务对象会异步执行

  • 特殊函数内部不能写不支持异步请求的模块,如time,requests...否则虽然不报错但实现不了异步

time.sleep -- asyncio.sleep
requests -- aiohttp

import asyncio
import time

start_time = time.time()
async def get_request(url):
  await asyncio.sleep(2)
  print(url,'下载完成!')

urls = [
  'www.1.com',
  'www.2.com',
]

task_lst = [] # 任务对象列表
for url in urls:
  c = get_request(url) # 协程对象
  task = asyncio.ensure_future(c) # 任务对象
  # task.add_done_callback(...)  # 绑定回调
  task_lst.append(task)

loop = asyncio.get_event_loop() # 事件循环对象
loop.run_until_complete(asyncio.wait(task_lst)) # 注册,手动挂起

线程池+requests模块

# 线程池
import time
from multiprocessing.dummy import Pool

start_time = time.time()
url_list = [
  'www.1.com',
  'www.2.com',
  'www.3.com',
]
def get_request(url):
  print('正在下载...',url)
  time.sleep(2)
  print('下载完成!',url)

pool = Pool(3)
pool.map(get_request,url_list)
print('总耗时:',time.time()-start_time)

两个方法提升爬虫效率

起一个flask服务端

from flask import Flask
import time

app = Flask(__name__)

@app.route('/bobo')
def index_bobo():
  time.sleep(2)
  return 'hello bobo!'

@app.route('/jay')
def index_jay():
  time.sleep(2)
  return 'hello jay!'

@app.route('/tom')
def index_tom():
  time.sleep(2)
  return 'hello tom!'

if __name__ == '__main__':
  app.run(threaded=True)

aiohttp模块+单线程多任务异步协程

import asyncio
import aiohttp
import requests
import time

start = time.time()
async def get_page(url):
  # page_text = requests.get(url=url).text
  # print(page_text)
  # return page_text
  async with aiohttp.ClientSession() as s: #生成一个session对象
    async with await s.get(url=url) as response:
      page_text = await response.text()
      print(page_text)
  return page_text

urls = [
  'http://127.0.0.1:5000/bobo',
  'http://127.0.0.1:5000/jay',
  'http://127.0.0.1:5000/tom',
]
tasks = []
for url in urls:
  c = get_page(url)
  task = asyncio.ensure_future(c)
  tasks.append(task)
loop = asyncio.get_event_loop()
loop.run_until_complete(asyncio.wait(tasks))

end = time.time()
print(end-start)

# 异步执行!
# hello tom!
# hello bobo!
# hello jay!
# 2.0311079025268555
'''
aiohttp模块实现单线程+多任务异步协程
并用xpath解析数据
'''
import aiohttp
import asyncio
from lxml import etree
import time

start = time.time()
# 特殊函数:请求的发送和数据的捕获
# 注意async with await关键字
async def get_request(url):
  async with aiohttp.ClientSession() as s:
    async with await s.get(url=url) as response:
      page_text = await response.text()
      return page_text    # 返回页面源码

# 回调函数,解析数据
def parse(task):
  page_text = task.result()
  tree = etree.HTML(page_text)
  msg = tree.xpath('/html/body/ul//text()')
  print(msg)

urls = [
  'http://127.0.0.1:5000/bobo',
  'http://127.0.0.1:5000/jay',
  'http://127.0.0.1:5000/tom',
]
tasks = []
for url in urls:
  c = get_request(url)
  task = asyncio.ensure_future(c)
  task.add_done_callback(parse) #绑定回调函数!
  tasks.append(task)
loop = asyncio.get_event_loop()
loop.run_until_complete(asyncio.wait(tasks))

end = time.time()
print(end-start)

requests模块+线程池

import time
import requests
from multiprocessing.dummy import Pool

start = time.time()
urls = [
  'http://127.0.0.1:5000/bobo',
  'http://127.0.0.1:5000/jay',
  'http://127.0.0.1:5000/tom',
]
def get_request(url):
  page_text = requests.get(url=url).text
  print(page_text)
  return page_text

pool = Pool(3)
pool.map(get_request, urls)
end = time.time()
print('总耗时:', end-start)

# 实现异步请求
# hello jay!
# hello bobo!
# hello tom!
# 总耗时: 2.0467123985290527

小结

  • 爬虫的加速目前掌握了两种方法:

aiohttp模块+单线程多任务异步协程
requests模块+线程池

  • 爬虫接触的模块有三个:

requests
urllib
aiohttp

  • 接触了一下flask开启服务器

以上就是python如何提升爬虫效率的详细内容,更多关于python提升爬虫效率的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
详解Python Socket网络编程
Jan 05 Python
python生成器表达式和列表解析
Mar 10 Python
Python使用BeautifulSoup库解析HTML基本使用教程
Mar 31 Python
python基于隐马尔可夫模型实现中文拼音输入
Apr 01 Python
浅谈python socket函数中,send与sendall的区别与使用方法
May 09 Python
Python如何实现MySQL实例初始化详解
Nov 06 Python
python队列通信:rabbitMQ的使用(实例讲解)
Dec 22 Python
pyqt5 QProgressBar清空进度条的实例
Jun 21 Python
python中的Elasticsearch操作汇总
Oct 30 Python
tensorflow使用指定gpu的方法
Feb 04 Python
Python绘制动态水球图过程详解
Jun 03 Python
Django多数据库联用实现方法解析
Nov 12 Python
python操作链表的示例代码
Sep 27 #Python
python用tkinter实现一个简易能进行随机点名的界面
Sep 27 #Python
python实现暗通道去雾算法的示例
Sep 27 #Python
谈谈python垃圾回收机制
Sep 27 #Python
如何在python中处理配置文件代码实例
Sep 27 #Python
Python 开发工具通过 agent 代理使用的方法
Sep 27 #Python
python 读取、写入txt文件的示例
Sep 27 #Python
You might like
火影忍者:三大瞳力之一的白眼,为什么没有写轮眼那么出色?
2020/03/02 日漫
php基础知识:类与对象(4) 范围解析操作符(::)
2006/12/13 PHP
php强制更新图片缓存的方法
2015/02/11 PHP
PHP页面转UTF-8中文编码乱码的解决办法
2015/10/20 PHP
php 生成加密公钥加密私钥实例详解
2017/06/16 PHP
thinkphp5.0自定义验证规则使用方法
2017/11/16 PHP
Javascript学习笔记2 函数
2010/01/11 Javascript
JavaScript 学习笔记一些小技巧
2010/03/28 Javascript
js确定对象类型方法
2012/03/30 Javascript
用JS提交参数创建form表单在FireFox中遇到的问题
2013/01/16 Javascript
JS对img进行操作(换图片/切图/轮换/停止)
2013/04/17 Javascript
下拉菜单点击实现连接跳转功能的js代码
2013/05/19 Javascript
javascript 上下banner替换具体实现
2013/11/14 Javascript
jQuery获得内容和属性方法及示例
2013/12/02 Javascript
node.js中的console.timeEnd方法使用说明
2014/12/09 Javascript
jQuery插件PageSlide实现左右侧栏导航菜单
2015/04/12 Javascript
jquery+html5时钟特效代码分享(可设置闹钟并且语音提醒)
2020/03/30 Javascript
bootstrap模态框实现拖拽效果
2016/12/14 Javascript
微信小程序组件之srcoll-view的详解
2017/10/19 Javascript
动态统计当前输入内容的字节、字符数的实例详解
2017/10/27 Javascript
python装饰器使用方法实例
2013/11/21 Python
Python入门篇之条件、循环
2014/10/17 Python
Python爬虫通过替换http request header来欺骗浏览器实现登录功能
2018/01/07 Python
一篇文章快速了解Python的GIL
2018/01/12 Python
Python 实现数据结构-堆栈和队列的操作方法
2019/07/17 Python
TensorFlow获取加载模型中的全部张量名称代码
2020/02/11 Python
python 牛顿法实现逻辑回归(Logistic Regression)
2020/10/15 Python
地图可视化神器kepler.gl python接口的使用方法
2020/12/22 Python
css3编写浏览器背景渐变背景色的方法
2018/03/05 HTML / CSS
Farfetch中文官网:奢侈品牌时尚购物平台
2020/03/15 全球购物
消防工作实施方案
2014/06/09 职场文书
国家机关领导干部民主生活会对照检查材料思想汇报
2014/09/17 职场文书
建党伟业电影观后感
2015/06/01 职场文书
2015小学音乐教师个人工作总结
2015/07/21 职场文书
java中为什么说子类的构造方法默认访问的是父类的无参构造方法
2022/04/13 Java/Android
python游戏开发Pygame框架
2022/04/22 Python