首页
所有分类
TAGS
文字工具 EMOJI BIBLE
编程 Python

Python 爬虫学习笔记之多线程爬虫

Posted in Python onSeptember 21, 2016

XPath 的安装以及使用

1 . XPath 的介绍

刚学过正则表达式，用的正顺手，现在就把正则表达式替换掉，使用 XPath，有人表示这太坑爹了，早知道刚上来就学习 XPath 多省事 啊。其实我个人认为学习一下正则表达式是大有益处的，之所以换成 XPath ，我个人认为是因为它定位更准确，使用更加便捷。可能有的人对 XPath 和正则表达式的区别不太清楚，举个例子来说吧，用正则表达式提取我们的内容，就好比说一个人想去天安门，地址的描述是左边有一个圆形建筑，右边是一个方形建筑，你去找吧，而使用 XPath 的话，地址的描述就变成了天安门的具体地址。怎么样？相比之下，哪种方式效率更高，找的更准确呢？

2 . XPath 的安装

XPath 包含在 lxml 库中，那么我们到哪里去下载呢？ 点击此处 ，进入网页后按住 ctrl+f 搜索 lxml ，然后进行下载，下载完毕之后将文件拓展名改为 .zip ，然后进行解压，将名为 lxml 的文件夹复制粘贴到 Python 的 Lib 目录下，这样就安装完毕了。

3 . XPath 的使用

为了方便演示，我利用 Html 写了个简单的网页，代码如下所示（为了节省时间，方便小伙伴们直接进行测试，可直接复制粘贴我的代码）

<!DOCTYPE html>
<html lang="en">
<head>
  <meta charset="UTF-8">
  <title>Test Html</title>
</head>
<body>
<div id="content">
  <ul id="like">
    <li>like one</li>
    <li>like two</li>
    <li>like three</li>
  </ul>

  <ul id="hate">
    <li>hate one</li>
    <li>hate two</li>
    <li>hate three</li>
  </ul>

  <div id="url">
    <a href="http://www.baidu.com">百度一下</a>
    <a href="http://www.hao123.com">好123</a>
  </div>
</div>

</body></html>

用谷歌浏览器打开这个网页，然后右击，选择检查，会出现如下所示界面

Python 爬虫学习笔记之多线程爬虫

这个时候你鼠标右击任何一行 html 代码，都可以看到一个 Copy，将鼠标放上去，就可以看到 Copy XPath ，先复制下来，怎么用呢？

# coding=utf-8
from lxml import etree

f = open('myHtml.html','r')
html = f.read()
f.close()

selector = etree.HTML(html)
content = selector.xpath('//*[@id="like"]/li/text()')
for each in content:
  print each

看看打印结果

like one
like two
like three

很显然，将我们想要的内容打印下来了，注意我们在 xpath() 中使用了 text() 函数，这个函数就是获取其中的内容，但是如果我们想获取一个属性，该怎么办？比如说我们想得到 html 中的两个链接地址，也就是 href 属性，我们可以这么操作

content = selector.xpath('//*[@id="url"]/a/@href')
for each in content:
  print each

这个时候的打印结果就是

http://www.baidu.com
http://www.hao123.com

看到现在大家大概也就对 xpath() 中的符号有了一定的了解，比如一开始的 // 指的就是根目录，而 / 就是父节点下的子节点，其他的 id 属性也是一步一步从上往下寻找的，由于这是一种树结构，所以也难怪方法的名字为 etree()。

4 . XPath 的特殊用法

<!DOCTYPE html>
<html lang="en">
<head>
  <meta charset="UTF-8">
  <title>Title</title>
</head>
<body>
<div id="likeone">like one</div>
<div id="liketwo">like two</div>
<div id="likethree">like three</div>

</body>
</html>

面对上面的一个网页，我们应该如何获取到三行的内容的 ? 嗯哼，很简单，我写三个 XPath 语句不就好了，so easy 。 如果真是这样，那么我们的效率好像是太低了一点，仔细看看这三行 div 的 id 属性，好像前四个字母都是 like, 那就好办了，我们可以使用 starts-with 对这三行进行同时提取，如下所示

content = selector.xpath('//div[starts-with(@id,"like")]/text()')

不过这样有一点麻烦的地方，我们就需要手动的去写 XPath 路径了，当然也可以复制粘贴下来在进行修改，这就是提升复杂度来换取效率的问题了。再来看看标签嵌套标签的提取情况

<!DOCTYPE html>
<html lang="en">
<head>
  <meta charset="UTF-8">
  <title>Title</title>
</head>
<body>

<div id="content">
  <div id="text">
    <p>hello
      <b> world
        <font color="#ffe4c4">
          Python
        </font>
      </b>
    </p>
  </div>
</div>

</body>
</html>

像上面这样的一个网页，如果我们想获取到  hello world Python 语句，该怎么获取呢？很明显这是一种标签嵌套标签的情况，我们按照正常情况进行提取，看看结果如何

content = selector.xpath('//*[@id="text"]/p/text()')
for each in content:
  print each

运行之后，很遗憾的，只打印出了 hello 字样，其他字符丢失了，该怎么办呢？这种情况可以借助于 string(.)如下所示

content = selector.xpath('//*[@id="text"]/p')[0]
info = content.xpath('string(.)')
data = info.replace('\n','').replace(' ','')
print data

这样就可以打印出正确内容了，至于第三行为什么存在，你可以将其去掉看看结果，到时候你自然就明白了。

Python 并行化的简单介绍

有人说 Python 中的并行化并不是真正的并行化，但是多线程还是能够显著提高我们代码的执行效率，为我们节省下来一大笔时间，下面我们就针对单线程和多线程进行时间上的比较。

# coding=utf-8
import requests
from multiprocessing.dummy import Pool as ThreadPool
import time


def getsource(url):
  html = requests.get(url)

if __name__ == '__main__':
  urls = []
  for i in range(50, 500, 50):
    newpage = 'http://tieba.baidu.com/f?kw=python&ie=utf-8&pn=' + str(i)
    urls.append(newpage)

  # 单线程计时
  time1 = time.time()
  for i in urls:
    print i
    getsource(i)
  time2 = time.time()

  print '单线程耗时 : ' + str(time2 - time1) + ' s'

  # 多线程计时
  pool = ThreadPool(4)
  time3 = time.time()
  results = pool.map(getsource, urls)
  pool.close()
  pool.join()
  time4 = time.time()
  print '多线程耗时 : ' + str(time4 - time3) + ' s'

打印结果为

http://tieba.baidu.com/f?kw=python&ie=utf-8&pn=50
http://tieba.baidu.com/f?kw=python&ie=utf-8&pn=100
http://tieba.baidu.com/f?kw=python&ie=utf-8&pn=150
http://tieba.baidu.com/f?kw=python&ie=utf-8&pn=200
http://tieba.baidu.com/f?kw=python&ie=utf-8&pn=250
http://tieba.baidu.com/f?kw=python&ie=utf-8&pn=300
http://tieba.baidu.com/f?kw=python&ie=utf-8&pn=350
http://tieba.baidu.com/f?kw=python&ie=utf-8&pn=400
http://tieba.baidu.com/f?kw=python&ie=utf-8&pn=450
单线程耗时 : 7.26399993896 s
多线程耗时 : 2.49799990654 s

至于以上链接为什么设置间隔为 50，是因为我发现在百度贴吧上没翻一页，pn 的值就会增加 50。 通过以上结果我们发现，多线程相比于单线程效率提升了太多太多。至于以上代码中多线程的使用，我就不再过多讲解，我相信只要接触过 Java 的人对多线程的使用不会陌生，其实都是大差不差。没有接触过 Java ？那就对不起了，以上代码请自行消化吧。

实战 -- 爬取当当网书籍信息

一直以来都在当当网购买书籍，既然学会了如何利用 Python 爬取信息，那么首先就来爬取一下当当网中的书籍信息吧。本实战完成之后的内容如下所示

Python 爬虫学习笔记之多线程爬虫

在当当网中搜索 Java ，出现了89页内容，我选择爬取了前 80 页，而且为了比较多线程和单线程的效率，我特意在这里对二者进行了比较，其中单线程爬取所用时间为 67s，而多线程仅为 15s 。

如何爬取网页，在上面 XPath 的使用中我们也已经做了介绍，无非就是进入网页，右击选择检查，查看网页 html 代码，然后寻找规律，进行信息的提取，在这里就不在多介绍，由于代码比较短，所以在这里直接上源代码。

# coding=utf8
import requests
import re
import time
from lxml import etree
from multiprocessing.dummy import Pool as ThreadPool
import sys

reload(sys)
sys.setdefaultencoding('utf-8')

def changepage(url, total):
  urls = []
  nowpage = int(re.search('(\d+)', url, re.S).group(1))
  for i in range(nowpage, total + 1):
    link = re.sub('page_index=(\d+)', 'page_index=%s' % i, url, re.S)
    urls.append(link)
  return urls

def spider(url):
  html = requests.get(url)
  content = html.text

  selector = etree.HTML(content)
  title = []
  title = selector.xpath('//*[@id="component_0__0__6612"]/li/a/@title')

  detail = []
  detail = selector.xpath('//*[@id="component_0__0__6612"]/li/p[3]/span[1]/text()')
  saveinfo(title,detail)

def saveinfo(title, detail):
  length1 = len(title)
  for i in range(0, length1 - 1):
    f.writelines(title[i] + '\n')
    f.writelines(detail[i] + '\n\n')

if __name__ == '__main__':
  pool = ThreadPool(4)
  f = open('info.txt', 'a')
  url = 'http://search.dangdang.com/?key=Java&act=input&page_index=1'
  urls = changepage(url, 80)

  time1 = time.time()
  pool.map(spider, urls)
  pool.close()
  pool.join()

  f.close()
  print '爬取成功！'
  time2 = time.time()
  print '多线程耗时 : ' + str(time2 - time1) + 's'

  # time1 = time.time()
  # for each in urls:
  #   spider(each)
  # time2 = time.time()
  # f.close()

  # print '单线程耗时 : ' + str(time2 - time1) + 's'

可见，以上代码中的知识，我们都在介绍 XPath 和 并行化 中做了详细的介绍，所以阅读起来十分轻松。

好了，到今天为止，Python 爬虫相关系列的文章到此结束，谢谢你的观看。

Python 爬虫学习笔记之多线程爬虫

- Author -

千里追风

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Python 相关文章推荐
浅析Python中的join()方法的使用
May 19 Python
python实现自动重启本程序的方法
Jul 09 Python
apache部署python程序出现503错误的解决方法
Jul 24 Python
浅谈Python中的私有变量
Feb 28 Python
python实现数据写入excel表格
Mar 25 Python
详解Python中is和==的区别
Mar 21 Python
python 实现12bit灰度图像映射到8bit显示的方法
Jul 08 Python
详解将Python程序(.py)转换为Windows可执行文件(.exe)
Jul 19 Python
使用WingPro 7 设置Python路径的方法
Jul 24 Python
python 读txt文件,按‘,’分割每行数据操作
Jul 05 Python
Python如何获取文件路径/目录
Sep 22 Python
python自动化测试三部曲之unittest框架的实现
Oct 07 Python
Python 爬虫学习笔记之单线程爬虫
Sep 21 #Python
Python 爬虫学习笔记之正则表达式
Sep 21 #Python
Python简单实现安全开关文件的两种方式
Sep 19 #Python
Python打包可执行文件的方法详解
Sep 19 #Python
Python实现拷贝多个文件到同一目录的方法
Sep 19 #Python
利用Python画ROC曲线和AUC值计算
Sep 19 #Python
Python文件与文件夹常见基本操作总结
Sep 19 #Python
NTP(1) Hive(5) Quartz(1) HttpClient(1) 反射(1) Windows Server(4) dataBinding(1) ip2region(1) RestTemplate(1) Windows Server 2022(3)
You might like
php连接mssql的一些相关经验及注意事项
2013/02/05 PHP
php计算到指定日期还有多少天的方法
2015/04/14 PHP
PHP实现限制IP访问的方法
2017/04/20 PHP
php基于协程实现异步的方法分析
2019/07/17 PHP
Thinkphp 框架扩展之Widget扩展实现方法分析
2020/04/23 PHP
Thinkphp5框架异常处理操作实例分析
2020/06/03 PHP
一个选择最快的服务器转向代码
2009/04/27 Javascript
jQuery 技巧大全(新手入门篇)
2009/05/12 Javascript
跟我学Nodejs（一）--- Node.js简介及安装开发环境
2014/05/20 NodeJs
jQuery学习笔记之jQuery原型属性和方法
2014/06/09 Javascript
JavaScript字符串对象slice方法入门实例（用于字符串截取）
2014/10/16 Javascript
原生js的数组除重复简单实例
2016/05/24 Javascript
解析vue中的$mount
2017/12/21 Javascript
详解Angular中通过$location获取地址栏的参数
2018/08/02 Javascript
对vue 键盘回车事件的实例讲解
2018/08/25 Javascript
浅谈v-for 和 v-if 并用时筛选条件方法
2019/11/07 Javascript
Windows下安装 node 的版本控制工具 nvm
2020/02/06 Javascript
Vue项目移动端滚动穿透问题的实现
2020/05/19 Javascript
[02:42]决战东方！DOTA2亚洲邀请赛重启荣耀之争
2017/03/17 DOTA
使用PYTHON接收多播数据的代码
2012/03/01 Python
Python程序设计入门(2)变量类型简介
2014/06/16 Python
Python开发微信公众平台的方法详解【基于weixin-knife】
2017/07/08 Python
python3+PyQt5实现自定义分数滑块部件
2018/04/24 Python
python scatter散点图用循环分类法加图例
2019/03/19 Python
python numpy实现文件存取的示例代码
2019/05/26 Python
Python中flatten( ),matrix.A用法说明
2020/07/05 Python
美国婴儿用品及配件购买网站：Munchkin
2019/04/03 全球购物
New Balance比利时官方网站：购买鞋子和服装
2021/01/15 全球购物
请解释在new与override的区别
2012/10/29 面试题
大学考试作弊检讨书
2014/01/30 职场文书
员工晚婚的请假条
2014/02/08 职场文书
个人销售励志奋斗口号
2019/12/05 职场文书
解析Redis Cluster原理
2021/06/21 Redis
能让Python提速超40倍的神器Cython详解
2021/06/24 Python
eval(cmd)与eval($cmd)的区别与联系
2021/07/07 PHP
为自由献出你的心脏！「进击的巨人展 FINAL」2022年6月在台开展
2022/04/13 日漫