Python tornado队列示例-一个并发web爬虫代码分享


Posted in Python onJanuary 09, 2018

Queue

Tornado的tornado.queue模块为基于协程的应用程序实现了一个异步生产者/消费者模式的队列。这与python标准库为多线程环境实现的queue模块类似。

一个协程执行到yieldqueue.get会暂停,直到队列中有条目。如果queue有上限,一个协程执行yieldqueue.put将会暂停,直到队列中有空闲的位置。

在一个queue内部维护了一个未完成任务的引用计数,每调用一次put操作便会增加引用计数,而调用task_done操作将会减少引用计数。

下面是一个简单的web爬虫的例子:

最开始,queue只包含一个基准url。当一个worker从中取出一个url后,它会从对应的页面中解析中所包含的url并将其放入队列,然后调用task_done减少引用计数一次。

最后,worker会取出一个url,而这个url页面中的所有url都已经被处理过了,这时队列中也没有url了。这时调用task_done会将引用计数减少至0.

这样,在main协程里,join操作将会解除挂起并结束主协程。

这个爬虫使用了HTMLParse来解析html页面。

import time
from datetime import timedelta

try:
 from HTMLParser import HTMLParser
 from urlparse import urljoin, urldefrag
except ImportError:
 from html.parser import HTMLParser
 from urllib.parse import urljoin, urldefrag

from tornado import httpclient, gen, ioloop, queues

base_url = 'http://www.tornadoweb.org/en/stable/'
concurrency = 10


@gen.coroutine
def get_links_from_url(url):
 """Download the page at `url` and parse it for links.

 Returned links have had the fragment after `#` removed, and have been made
 absolute so, e.g. the URL 'gen.html#tornado.gen.coroutine' becomes
 'http://www.tornadoweb.org/en/stable/gen.html'.
 """
 try:
  response = yield httpclient.AsyncHTTPClient().fetch(url)
  print('fetched %s' % url)

  html = response.body if isinstance(response.body, str) \
   else response.body.decode()
  urls = [urljoin(url, remove_fragment(new_url))
    for new_url in get_links(html)]
 except Exception as e:
  print('Exception: %s %s' % (e, url))
  raise gen.Return([])

 raise gen.Return(urls)

#用于从一个包含片段的url中提取中真正的url.
def remove_fragment(url):  
 pure_url, frag = urldefrag(url)
 return pure_url


def get_links(html):
 class URLSeeker(HTMLParser):
  def __init__(self):
   HTMLParser.__init__(self)
   self.urls = []

	#从所有a标签中提取中href属性。
  def handle_starttag(self, tag, attrs):
   href = dict(attrs).get('href')
   if href and tag == 'a':
    self.urls.append(href)

 url_seeker = URLSeeker()
 url_seeker.feed(html)
 return url_seeker.urls


@gen.coroutine
def main():
 q = queues.Queue()
 start = time.time()
 fetching, fetched = set(), set()

 @gen.coroutine
 def fetch_url():
  current_url = yield q.get()
  try:
   if current_url in fetching:
    return

   print('fetching %s' % current_url)
   fetching.add(current_url)
   urls = yield get_links_from_url(current_url)
   fetched.add(current_url)

   for new_url in urls:
    # Only follow links beneath the base URL
    if new_url.startswith(base_url):
     yield q.put(new_url)

  finally:
   q.task_done()

 @gen.coroutine
 def worker():
  while True:
   yield fetch_url()

 q.put(base_url)

 # Start workers, then wait for the work queue to be empty.
 for _ in range(concurrency):
  worker()
 yield q.join(timeout=timedelta(seconds=300))
 assert fetching == fetched
 print('Done in %d seconds, fetched %s URLs.' % (
  time.time() - start, len(fetched)))


if __name__ == '__main__':
 import logging
 logging.basicConfig()
 io_loop = ioloop.IOLoop.current()
 io_loop.run_sync(main)

总结

以上所述,来自Tornado官方网站用户指南的介绍和实例,这位同学进行了简单的翻译,然后把代码拿过来了。时间有些仓促,小编并未进行tornado的安装和对本段代码进行测试,故无结果演示,大家请见谅。

有关Python tornado队列示例-一个并发web爬虫代码分享的介绍就到这里了,希望对大家有所帮助。感兴趣的朋友可以继续参阅本站其他相关专题,如有不足之处,欢迎留言指出。感谢朋友们对本站的支持!

Python 相关文章推荐
python如何通过protobuf实现rpc
Mar 06 Python
python实现ID3决策树算法
Dec 20 Python
matplotlib subplots 设置总图的标题方法
May 25 Python
python中reader的next用法
Jul 24 Python
一行代码让 Python 的运行速度提高100倍
Oct 08 Python
把pandas转换int型为str型的方法
Jan 29 Python
我喜欢你 抖音表白程序python版
Apr 07 Python
Python实现计算文件MD5和SHA1的方法示例
Jun 11 Python
使用python获取邮箱邮件的设置方法
Sep 20 Python
Keras 快速解决OOM超内存的问题
Jun 11 Python
python求解汉诺塔游戏
Jul 09 Python
Python利用命名空间解析XML文档
Aug 10 Python
Python中join函数简单代码示例
Jan 09 #Python
Python中顺序表的实现简单代码分享
Jan 09 #Python
python中set()函数简介及实例解析
Jan 09 #Python
Python中摘要算法MD5,SHA1简介及应用实例代码
Jan 09 #Python
深入了解Python中pop和remove的使用方法
Jan 09 #Python
Python使用smtp和pop简单收发邮件完整实例
Jan 09 #Python
Numpy中stack(),hstack(),vstack()函数用法介绍及实例
Jan 09 #Python
You might like
相对路径转化成绝对路径
2007/04/10 PHP
PHP计算一年多少个星期和每周的开始和结束日期
2014/07/01 PHP
PHP依赖注入(DI)和控制反转(IoC)详解
2017/06/12 PHP
4种Windows系统下Laravel框架的开发环境安装及部署方法详解
2020/04/06 PHP
JavaScript的目的分析
2007/01/05 Javascript
JavaScript中switch判断容易犯错的一个细节
2014/08/27 Javascript
jquery单选框radio绑定click事件实现方法
2015/01/14 Javascript
浅谈javascript中自定义模版
2015/01/29 Javascript
JavaScript中property和attribute的区别详细介绍
2015/03/03 Javascript
AngularJS使用ngOption实现下拉列表的实例代码
2016/01/23 Javascript
原生javascript实现匀速运动动画效果
2016/02/26 Javascript
浅谈PDF.js使用心得
2018/06/07 Javascript
php中and 和 &&出坑指南
2018/07/13 Javascript
jQuery滑动效果实现方法分析
2018/09/05 jQuery
Angular Excel 导入与导出的实现代码
2019/04/17 Javascript
Auto.JS实现抖音刷宝等刷视频app,自动点赞,自动滑屏,自动切换视频功能
2020/05/08 Javascript
原生js实现五子棋游戏
2020/05/28 Javascript
Python实现通讯录功能
2018/02/22 Python
django表单实现下拉框的示例讲解
2018/05/29 Python
使用python中的in ,not in来检查元素是不是在列表中的方法
2018/07/06 Python
Django模板导入母版继承和自定义返回Html片段过程解析
2019/09/18 Python
django rest framework使用django-filter用法
2020/07/15 Python
python 6行代码制作月历生成器
2020/09/18 Python
Python 可视化神器Plotly详解
2020/12/26 Python
Python之Sklearn使用入门教程
2021/02/19 Python
css3+jq创作含苞待放的荷花
2014/02/20 HTML / CSS
canvas实现图片马赛克的示例代码
2018/03/26 HTML / CSS
html5 Canvas画图教程(11)—使用lineTo/arc/bezierCurveTo画椭圆形
2013/01/09 HTML / CSS
马来西亚演唱会订票网站:StubHub马来西亚
2018/10/18 全球购物
ABOUT YOU罗马尼亚:超过600个时尚品牌
2019/09/19 全球购物
个人自我鉴定范文
2013/10/04 职场文书
西北政法大学自主招生自荐信
2014/01/29 职场文书
酒店财务部岗位职责
2015/04/14 职场文书
毕业生入职感言
2015/07/31 职场文书
采购部年度工作总结
2015/08/13 职场文书
Vue2.0搭建脚手架
2022/03/13 Vue.js