首页
所有分类
TAGS
文字工具 EMOJI BIBLE
编程 Python

Python 爬虫学习笔记之多线程爬虫

Posted in Python onSeptember 21, 2016

XPath 的安装以及使用

1 . XPath 的介绍

刚学过正则表达式，用的正顺手，现在就把正则表达式替换掉，使用 XPath，有人表示这太坑爹了，早知道刚上来就学习 XPath 多省事 啊。其实我个人认为学习一下正则表达式是大有益处的，之所以换成 XPath ，我个人认为是因为它定位更准确，使用更加便捷。可能有的人对 XPath 和正则表达式的区别不太清楚，举个例子来说吧，用正则表达式提取我们的内容，就好比说一个人想去天安门，地址的描述是左边有一个圆形建筑，右边是一个方形建筑，你去找吧，而使用 XPath 的话，地址的描述就变成了天安门的具体地址。怎么样？相比之下，哪种方式效率更高，找的更准确呢？

2 . XPath 的安装

XPath 包含在 lxml 库中，那么我们到哪里去下载呢？ 点击此处 ，进入网页后按住 ctrl+f 搜索 lxml ，然后进行下载，下载完毕之后将文件拓展名改为 .zip ，然后进行解压，将名为 lxml 的文件夹复制粘贴到 Python 的 Lib 目录下，这样就安装完毕了。

3 . XPath 的使用

为了方便演示，我利用 Html 写了个简单的网页，代码如下所示（为了节省时间，方便小伙伴们直接进行测试，可直接复制粘贴我的代码）

<!DOCTYPE html>
<html lang="en">
<head>
  <meta charset="UTF-8">
  <title>Test Html</title>
</head>
<body>
<div id="content">
  <ul id="like">
    <li>like one</li>
    <li>like two</li>
    <li>like three</li>
  </ul>

  <ul id="hate">
    <li>hate one</li>
    <li>hate two</li>
    <li>hate three</li>
  </ul>

  <div id="url">
    <a href="http://www.baidu.com">百度一下</a>
    <a href="http://www.hao123.com">好123</a>
  </div>
</div>

</body></html>

用谷歌浏览器打开这个网页，然后右击，选择检查，会出现如下所示界面

Python 爬虫学习笔记之多线程爬虫

这个时候你鼠标右击任何一行 html 代码，都可以看到一个 Copy，将鼠标放上去，就可以看到 Copy XPath ，先复制下来，怎么用呢？

# coding=utf-8
from lxml import etree

f = open('myHtml.html','r')
html = f.read()
f.close()

selector = etree.HTML(html)
content = selector.xpath('//*[@id="like"]/li/text()')
for each in content:
  print each

看看打印结果

like one
like two
like three

很显然，将我们想要的内容打印下来了，注意我们在 xpath() 中使用了 text() 函数，这个函数就是获取其中的内容，但是如果我们想获取一个属性，该怎么办？比如说我们想得到 html 中的两个链接地址，也就是 href 属性，我们可以这么操作

content = selector.xpath('//*[@id="url"]/a/@href')
for each in content:
  print each

这个时候的打印结果就是

http://www.baidu.com
http://www.hao123.com

看到现在大家大概也就对 xpath() 中的符号有了一定的了解，比如一开始的 // 指的就是根目录，而 / 就是父节点下的子节点，其他的 id 属性也是一步一步从上往下寻找的，由于这是一种树结构，所以也难怪方法的名字为 etree()。

4 . XPath 的特殊用法

<!DOCTYPE html>
<html lang="en">
<head>
  <meta charset="UTF-8">
  <title>Title</title>
</head>
<body>
<div id="likeone">like one</div>
<div id="liketwo">like two</div>
<div id="likethree">like three</div>

</body>
</html>

面对上面的一个网页，我们应该如何获取到三行的内容的 ? 嗯哼，很简单，我写三个 XPath 语句不就好了，so easy 。 如果真是这样，那么我们的效率好像是太低了一点，仔细看看这三行 div 的 id 属性，好像前四个字母都是 like, 那就好办了，我们可以使用 starts-with 对这三行进行同时提取，如下所示

content = selector.xpath('//div[starts-with(@id,"like")]/text()')

不过这样有一点麻烦的地方，我们就需要手动的去写 XPath 路径了，当然也可以复制粘贴下来在进行修改，这就是提升复杂度来换取效率的问题了。再来看看标签嵌套标签的提取情况

<!DOCTYPE html>
<html lang="en">
<head>
  <meta charset="UTF-8">
  <title>Title</title>
</head>
<body>

<div id="content">
  <div id="text">
    <p>hello
      <b> world
        <font color="#ffe4c4">
          Python
        </font>
      </b>
    </p>
  </div>
</div>

</body>
</html>

像上面这样的一个网页，如果我们想获取到  hello world Python 语句，该怎么获取呢？很明显这是一种标签嵌套标签的情况，我们按照正常情况进行提取，看看结果如何

content = selector.xpath('//*[@id="text"]/p/text()')
for each in content:
  print each

运行之后，很遗憾的，只打印出了 hello 字样，其他字符丢失了，该怎么办呢？这种情况可以借助于 string(.)如下所示

content = selector.xpath('//*[@id="text"]/p')[0]
info = content.xpath('string(.)')
data = info.replace('\n','').replace(' ','')
print data

这样就可以打印出正确内容了，至于第三行为什么存在，你可以将其去掉看看结果，到时候你自然就明白了。

Python 并行化的简单介绍

有人说 Python 中的并行化并不是真正的并行化，但是多线程还是能够显著提高我们代码的执行效率，为我们节省下来一大笔时间，下面我们就针对单线程和多线程进行时间上的比较。

# coding=utf-8
import requests
from multiprocessing.dummy import Pool as ThreadPool
import time


def getsource(url):
  html = requests.get(url)

if __name__ == '__main__':
  urls = []
  for i in range(50, 500, 50):
    newpage = 'http://tieba.baidu.com/f?kw=python&ie=utf-8&pn=' + str(i)
    urls.append(newpage)

  # 单线程计时
  time1 = time.time()
  for i in urls:
    print i
    getsource(i)
  time2 = time.time()

  print '单线程耗时 : ' + str(time2 - time1) + ' s'

  # 多线程计时
  pool = ThreadPool(4)
  time3 = time.time()
  results = pool.map(getsource, urls)
  pool.close()
  pool.join()
  time4 = time.time()
  print '多线程耗时 : ' + str(time4 - time3) + ' s'

打印结果为

http://tieba.baidu.com/f?kw=python&ie=utf-8&pn=50
http://tieba.baidu.com/f?kw=python&ie=utf-8&pn=100
http://tieba.baidu.com/f?kw=python&ie=utf-8&pn=150
http://tieba.baidu.com/f?kw=python&ie=utf-8&pn=200
http://tieba.baidu.com/f?kw=python&ie=utf-8&pn=250
http://tieba.baidu.com/f?kw=python&ie=utf-8&pn=300
http://tieba.baidu.com/f?kw=python&ie=utf-8&pn=350
http://tieba.baidu.com/f?kw=python&ie=utf-8&pn=400
http://tieba.baidu.com/f?kw=python&ie=utf-8&pn=450
单线程耗时 : 7.26399993896 s
多线程耗时 : 2.49799990654 s

至于以上链接为什么设置间隔为 50，是因为我发现在百度贴吧上没翻一页，pn 的值就会增加 50。 通过以上结果我们发现，多线程相比于单线程效率提升了太多太多。至于以上代码中多线程的使用，我就不再过多讲解，我相信只要接触过 Java 的人对多线程的使用不会陌生，其实都是大差不差。没有接触过 Java ？那就对不起了，以上代码请自行消化吧。

实战 -- 爬取当当网书籍信息

一直以来都在当当网购买书籍，既然学会了如何利用 Python 爬取信息，那么首先就来爬取一下当当网中的书籍信息吧。本实战完成之后的内容如下所示

Python 爬虫学习笔记之多线程爬虫

在当当网中搜索 Java ，出现了89页内容，我选择爬取了前 80 页，而且为了比较多线程和单线程的效率，我特意在这里对二者进行了比较，其中单线程爬取所用时间为 67s，而多线程仅为 15s 。

如何爬取网页，在上面 XPath 的使用中我们也已经做了介绍，无非就是进入网页，右击选择检查，查看网页 html 代码，然后寻找规律，进行信息的提取，在这里就不在多介绍，由于代码比较短，所以在这里直接上源代码。

# coding=utf8
import requests
import re
import time
from lxml import etree
from multiprocessing.dummy import Pool as ThreadPool
import sys

reload(sys)
sys.setdefaultencoding('utf-8')

def changepage(url, total):
  urls = []
  nowpage = int(re.search('(\d+)', url, re.S).group(1))
  for i in range(nowpage, total + 1):
    link = re.sub('page_index=(\d+)', 'page_index=%s' % i, url, re.S)
    urls.append(link)
  return urls

def spider(url):
  html = requests.get(url)
  content = html.text

  selector = etree.HTML(content)
  title = []
  title = selector.xpath('//*[@id="component_0__0__6612"]/li/a/@title')

  detail = []
  detail = selector.xpath('//*[@id="component_0__0__6612"]/li/p[3]/span[1]/text()')
  saveinfo(title,detail)

def saveinfo(title, detail):
  length1 = len(title)
  for i in range(0, length1 - 1):
    f.writelines(title[i] + '\n')
    f.writelines(detail[i] + '\n\n')

if __name__ == '__main__':
  pool = ThreadPool(4)
  f = open('info.txt', 'a')
  url = 'http://search.dangdang.com/?key=Java&act=input&page_index=1'
  urls = changepage(url, 80)

  time1 = time.time()
  pool.map(spider, urls)
  pool.close()
  pool.join()

  f.close()
  print '爬取成功！'
  time2 = time.time()
  print '多线程耗时 : ' + str(time2 - time1) + 's'

  # time1 = time.time()
  # for each in urls:
  #   spider(each)
  # time2 = time.time()
  # f.close()

  # print '单线程耗时 : ' + str(time2 - time1) + 's'

可见，以上代码中的知识，我们都在介绍 XPath 和 并行化 中做了详细的介绍，所以阅读起来十分轻松。

好了，到今天为止，Python 爬虫相关系列的文章到此结束，谢谢你的观看。

Python 爬虫学习笔记之多线程爬虫

- Author -

千里追风

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Python 相关文章推荐
Python的Flask框架中@app.route的用法教程
Mar 31 Python
举例详解Python中循环语句的嵌套使用
May 14 Python
Python实现重建二叉树的三种方法详解
Jun 23 Python
Python键盘输入转换为列表的实例
Jun 23 Python
pandas 转换成行列表进行读取与Nan处理的方法
Oct 30 Python
Python设计模式之解释器模式原理与用法实例分析
Jan 10 Python
详解pandas如何去掉、过滤数据集中的某些值或者某些行？
May 15 Python
详解Python self 参数
Aug 30 Python
python动态文本进度条的实例代码
Jan 22 Python
tensorflow之tf.record实现存浮点数数组
Feb 17 Python
解决Django中checkbox复选框的传值问题
Mar 31 Python
详解pandas.DataFrame.plot() 画图函数
Jun 14 Python
Python 爬虫学习笔记之单线程爬虫
Sep 21 #Python
Python 爬虫学习笔记之正则表达式
Sep 21 #Python
Python简单实现安全开关文件的两种方式
Sep 19 #Python
Python打包可执行文件的方法详解
Sep 19 #Python
Python实现拷贝多个文件到同一目录的方法
Sep 19 #Python
利用Python画ROC曲线和AUC值计算
Sep 19 #Python
Python文件与文件夹常见基本操作总结
Sep 19 #Python
Express(1) OOP(1) kubernetes(1) GPU(1) MutationObserver(1) Three.js(1) HBuilder(1) 条形码(1) 分布式追踪(1) tree shaking(1)
You might like
php数据库抽象层 PDO
2011/05/07 PHP
php分页示例分享
2014/04/30 PHP
PHP使用Mysql事务实例解析
2014/09/08 PHP
PDO预处理语句PDOStatement对象使用总结
2014/11/20 PHP
jQuery+PHP实现的掷色子抽奖游戏实例
2015/01/04 PHP
JavaScript 的方法重载效果
2009/08/07 Javascript
Array.prototype.slice 使用扩展
2010/06/09 Javascript
JQueryEasyUI datagrid框架的基本使用
2013/04/08 Javascript
jQuery 属性选择器element[herf*='value']使用示例
2013/10/20 Javascript
JS实现局部选择打印和局部不选择打印
2014/04/03 Javascript
AngularJS中的DOM操作用法分析
2016/11/04 Javascript
Vue + Webpack + Vue-loader学习教程之功能介绍篇
2017/03/14 Javascript
Angular使用 ng-img-max 调整浏览器中的图片的示例代码
2017/08/17 Javascript
浅谈vue-router 路由传参的方法
2017/12/27 Javascript
jQuery封装animate.css的实例
2018/01/04 jQuery
基于Vue渲染与插件的加载顺序的问题详解
2018/03/05 Javascript
Electron-vue开发的客户端支付收款工具的实现
2019/05/24 Javascript
微信小程序实现搜索框功能及踩过的坑
2020/06/19 Javascript
python 爬虫 批量获取代理ip的实例代码
2018/05/22 Python
python使用scrapy发送post请求的坑
2018/09/04 Python
Python实现的爬取百度贴吧图片功能完整示例
2019/05/10 Python
代码实例讲解python3的编码问题
2019/07/08 Python
Python基于gevent实现文件字符串查找器
2020/08/11 Python
使用Python将xmind脑图转成excel用例的实现代码（一）
2020/10/12 Python
AmazeUI图片轮播效果的示例代码
2020/08/20 HTML / CSS
毕业设计计划书
2014/01/09 职场文书
材料物理专业求职信
2014/09/01 职场文书
离职报告格式
2014/11/04 职场文书
2015年教研工作总结
2015/05/23 职场文书
幼儿园园长六一致辞
2015/07/31 职场文书
如何书写民事调解协议书？
2019/06/25 职场文书
Memcached介绍及php-memcache扩展安装
2021/04/01 PHP
原生JS中应该禁止出现的写法
2021/05/05 Javascript
使用Vue3+Vant组件实现App搜索历史记录功能(示例代码)
2021/06/09 Vue.js
Spring IOC容器Bean的作用域及生命周期实例
2022/05/30 Java/Android
Apache Kafka 分区重分配的实现原理解析
2022/07/15 Servers