Python tornado队列示例-一个并发web爬虫代码分享


Posted in Python onJanuary 09, 2018

Queue

Tornado的tornado.queue模块为基于协程的应用程序实现了一个异步生产者/消费者模式的队列。这与python标准库为多线程环境实现的queue模块类似。

一个协程执行到yieldqueue.get会暂停,直到队列中有条目。如果queue有上限,一个协程执行yieldqueue.put将会暂停,直到队列中有空闲的位置。

在一个queue内部维护了一个未完成任务的引用计数,每调用一次put操作便会增加引用计数,而调用task_done操作将会减少引用计数。

下面是一个简单的web爬虫的例子:

最开始,queue只包含一个基准url。当一个worker从中取出一个url后,它会从对应的页面中解析中所包含的url并将其放入队列,然后调用task_done减少引用计数一次。

最后,worker会取出一个url,而这个url页面中的所有url都已经被处理过了,这时队列中也没有url了。这时调用task_done会将引用计数减少至0.

这样,在main协程里,join操作将会解除挂起并结束主协程。

这个爬虫使用了HTMLParse来解析html页面。

import time
from datetime import timedelta

try:
 from HTMLParser import HTMLParser
 from urlparse import urljoin, urldefrag
except ImportError:
 from html.parser import HTMLParser
 from urllib.parse import urljoin, urldefrag

from tornado import httpclient, gen, ioloop, queues

base_url = 'http://www.tornadoweb.org/en/stable/'
concurrency = 10


@gen.coroutine
def get_links_from_url(url):
 """Download the page at `url` and parse it for links.

 Returned links have had the fragment after `#` removed, and have been made
 absolute so, e.g. the URL 'gen.html#tornado.gen.coroutine' becomes
 'http://www.tornadoweb.org/en/stable/gen.html'.
 """
 try:
  response = yield httpclient.AsyncHTTPClient().fetch(url)
  print('fetched %s' % url)

  html = response.body if isinstance(response.body, str) \
   else response.body.decode()
  urls = [urljoin(url, remove_fragment(new_url))
    for new_url in get_links(html)]
 except Exception as e:
  print('Exception: %s %s' % (e, url))
  raise gen.Return([])

 raise gen.Return(urls)

#用于从一个包含片段的url中提取中真正的url.
def remove_fragment(url):  
 pure_url, frag = urldefrag(url)
 return pure_url


def get_links(html):
 class URLSeeker(HTMLParser):
  def __init__(self):
   HTMLParser.__init__(self)
   self.urls = []

	#从所有a标签中提取中href属性。
  def handle_starttag(self, tag, attrs):
   href = dict(attrs).get('href')
   if href and tag == 'a':
    self.urls.append(href)

 url_seeker = URLSeeker()
 url_seeker.feed(html)
 return url_seeker.urls


@gen.coroutine
def main():
 q = queues.Queue()
 start = time.time()
 fetching, fetched = set(), set()

 @gen.coroutine
 def fetch_url():
  current_url = yield q.get()
  try:
   if current_url in fetching:
    return

   print('fetching %s' % current_url)
   fetching.add(current_url)
   urls = yield get_links_from_url(current_url)
   fetched.add(current_url)

   for new_url in urls:
    # Only follow links beneath the base URL
    if new_url.startswith(base_url):
     yield q.put(new_url)

  finally:
   q.task_done()

 @gen.coroutine
 def worker():
  while True:
   yield fetch_url()

 q.put(base_url)

 # Start workers, then wait for the work queue to be empty.
 for _ in range(concurrency):
  worker()
 yield q.join(timeout=timedelta(seconds=300))
 assert fetching == fetched
 print('Done in %d seconds, fetched %s URLs.' % (
  time.time() - start, len(fetched)))


if __name__ == '__main__':
 import logging
 logging.basicConfig()
 io_loop = ioloop.IOLoop.current()
 io_loop.run_sync(main)

总结

以上所述,来自Tornado官方网站用户指南的介绍和实例,这位同学进行了简单的翻译,然后把代码拿过来了。时间有些仓促,小编并未进行tornado的安装和对本段代码进行测试,故无结果演示,大家请见谅。

有关Python tornado队列示例-一个并发web爬虫代码分享的介绍就到这里了,希望对大家有所帮助。感兴趣的朋友可以继续参阅本站其他相关专题,如有不足之处,欢迎留言指出。感谢朋友们对本站的支持!

Python 相关文章推荐
py中的目录与文件判别代码
Jul 16 Python
python中使用sys模板和logging模块获取行号和函数名的方法
Apr 15 Python
Python中的生成器和yield详细介绍
Jan 09 Python
Python函数返回值实例分析
Jun 08 Python
使用Python编写简单的端口扫描器的实例分享
Dec 18 Python
python+django+sql学生信息管理后台开发
Jan 11 Python
python常用函数与用法示例
Jul 02 Python
Django使用unittest模块进行单元测试过程解析
Aug 02 Python
python tornado修改log输出方式
Nov 18 Python
Python基础之字符串操作常用函数集合
Feb 09 Python
python画图常规设置方式
Mar 05 Python
python模拟点击玩游戏的实例讲解
Nov 26 Python
Python中join函数简单代码示例
Jan 09 #Python
Python中顺序表的实现简单代码分享
Jan 09 #Python
python中set()函数简介及实例解析
Jan 09 #Python
Python中摘要算法MD5,SHA1简介及应用实例代码
Jan 09 #Python
深入了解Python中pop和remove的使用方法
Jan 09 #Python
Python使用smtp和pop简单收发邮件完整实例
Jan 09 #Python
Numpy中stack(),hstack(),vstack()函数用法介绍及实例
Jan 09 #Python
You might like
php XMLWriter类的简单示例代码(RSS输出)
2011/09/30 PHP
基于php验证码函数的使用示例
2013/05/03 PHP
在Mac OS上搭建PHP的Yii框架及相关测试环境
2016/02/14 PHP
jquery ajax提交表单数据的两种实现方法
2010/04/29 Javascript
js实现点击链接后延迟3秒再跳转的方法
2015/06/05 Javascript
初步了解javascript面向对象
2015/11/09 Javascript
JavaScript弹窗基础篇
2016/04/27 Javascript
JS Array创建及concat()split()slice()的使用方法
2016/06/03 Javascript
老生常谈JavaScript 函数表达式
2016/09/01 Javascript
浅析JavaScript中break、continue和return的区别
2016/11/30 Javascript
vue绑定class与行间样式style详解
2017/08/16 Javascript
浅谈react前后端同构渲染
2017/09/20 Javascript
Mint UI 基于 Vue.js 移动端组件库
2017/11/07 Javascript
Vue cli3 库模式搭建组件库并发布到 npm的流程
2018/10/12 Javascript
Django与遗留的数据库整合的方法指南
2015/07/24 Python
Django基础之Model操作步骤(介绍)
2017/05/27 Python
Python中的is和==比较两个对象的两种方法
2017/09/06 Python
基于Python Numpy的数组array和矩阵matrix详解
2018/04/04 Python
Python Web编程之WSGI协议简介
2018/07/18 Python
Python之循环结构
2019/01/15 Python
python BlockingScheduler定时任务及其他方式的实现
2019/09/19 Python
python中如何使用insert函数
2020/01/09 Python
Python气泡提示与标签的实现
2020/04/01 Python
python网络编程之五子棋游戏
2020/05/14 Python
HTML5 FormData 方法介绍以及实现文件上传示例
2017/09/12 HTML / CSS
Steve Madden官网:美国鞋类品牌
2017/01/29 全球购物
.NET初级开发工程师面试题
2014/04/18 面试题
How to spawning asynchronous work in J2EE
2016/08/29 面试题
水污染治理专业毕业生推荐信
2013/11/14 职场文书
办公室内勤工作职责
2013/12/11 职场文书
网络信息管理员岗位职责
2014/01/05 职场文书
员工安全责任书范本
2014/07/24 职场文书
大学副班长竞选稿
2015/11/21 职场文书
python 常用的异步框架汇总整理
2021/06/18 Python
java版 简单三子棋游戏
2022/05/04 Java/Android