Python爬虫辅助利器PyQuery模块的安装使用攻略


Posted in Python onApril 24, 2016

Windows下的安装:
下载地址:https://pypi.python.org/pypi/pyquery/#downloads
下载后安装:

C:\Python27>easy_install E:\python\pyquery-1.2.4.zip

也可以直接在线安装:

C:\Python27>easy_install pyquery

pyquery是一个类似jquery的python库,可以使用像jquery那样的语法来提取网页中的任何数据,这个用于html网页的数据提取和挖掘还是一个很不错的第三方库的。下面我们来看下pyquery的用法有哪些。

从html字符串中提取信息

#!/usr/bin/python
# -*- coding: utf-8 -*-

from pyquery import PyQuery as pq
html = '''
<html>
<head>
 <title>this is title</title>
</head>
<body>
 <p id="hi">Hello, World</p>
 <p id="hi2">Nihao</p>
 <div class="class1">
  <img src="1.jpg" />
 </div>
 <ul>
  <li>list1</li>
  <li>list2</li>
 </ul>
</body>
</html>
'''
d=pq(html)

print d('title') # 相当于css选择器,根据html标签获取元素
print d('title').text() # text()方法获取当前选中的文本块

print d('#hi').text() # 相当于id选择器,直接根据id名获取元素
print d('p').filter('#hi2').text() # 可以根据id或class得到指定元素
print d('.class1') # 相当于class选择器
print d('.class1').html() # html()方法获取当前选中的html块
print d('.class1').find('img').attr('src') # 查找嵌套元素,并选中属性
print d('ul').find('li').eq(0).text() # 根据索引号获取多个相同html元素中的某一个
print d('ul').children() # 获取所有子元素
print d('ul').children().eq(0) #根据索引获取子元素
print d('img').parents() # 获取父元素
print d('#hi').next() # 获取下一个元素
print d('#hi').nextAll() #获取后面全部元素块
print d('p').not_('#hi2') # 返回不匹配选择器的元素
# 遍历所有匹配的元素
for i in d.items('li'):
 print i.text()
print [i.text() for i in d.items('li')] # 遍历用于列表推倒
print d.make_links_absolute(base_url='http://www.baidu.com') # 把html文档中的相对路径变为绝对路径

上面的代码段给出了pyquery常用的操作方法。我们先定义了一段html代码,然后利用pyquery的一系列方法对该html代码进行了操作,主要是获取特定的元素以及文本等。当然,pyquery不仅仅能够获取元素,还能进行设置元素属性、增加元素等功能,鉴于我们最常用的就是上面代码中用到的方法,这里就不再对其他方法进行介绍了。

从url或本地html文件中提取信息

当然,pyquery也不仅仅可以解析像上面的html字符串,还可以这样:

d = pq(url='http://www.baidu.com/')

我们可以直接加载一个URL,和上面的操作方法没有任何区别。这种方法默认使用urllib模块进行http请求,但如果你的系统中安装了requests的话,那么就会使用requests来进行http请求,这也就意味着你可以使用requests的任何参数,比如:

pq('http://www.baidu.com/', headers={'user-agent': 'pyquery'})

或者,如果你在你的本地已经有了对应的html文件,那么还可以这样:

d = pq(filename=path_to_html_file)

上面的写法直接指定了本地的html文件,且操作方法仍然与上面的相同。
可以看到,pyquery给我们提供充分的便利性来进行任何元素的选取,就像jquery一样。

利用pyquery抓取豆瓣电影top250

看完了pyquery的语法,我们来看一个实例,抓取豆瓣电影top250。
因为豆瓣反爬虫反的厉害,运行几次就没法再抓了,我只好先用requests把页面下载下来,直接使用pyquery分析页面的方法来提取信息:

from pyquery import PyQuery as pq
import requests

head_req = {
 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36',
 'Referer':'https://movie.douban.com/top250?start=0',

}
r=requests.get("https://movie.douban.com/top250?start=0",headers=head_req)
with open("1.html","wb") as html:
 html.write(r.content)

d=pq(filename="1.html")

# print d('ol').find('li').html()
for data in d('ol').items('li'):
 print data.find('.hd').find('.title').eq(0).text()
 print data.find('.star').find('.rating_num').text()
 print data.find('.quote').find('.inq').text()
 print

运行下看看结果:

肖申克的救赎
9.6
希望让人自由。

这个杀手不太冷
9.4
怪蜀黍和小萝莉不得不说的故事。

阿甘正传
9.4
一部美国近现代史。

霸王别姬
9.4
风华绝代。

美丽人生
9.5
最美的谎言。

千与千寻
9.2
最好的宫崎骏,最好的久石让。

辛德勒的名单
9.4
拯救一个人,就是拯救整个世界。

海上钢琴师
9.2
每个人都要走一条自己坚定了的路,就算是粉身碎骨。

机器人总动员
9.3
小瓦力,大人生。

盗梦空间
9.2
诺兰给了我们一场无法盗取的梦。

泰坦尼克号
9.1
失去的才是永恒的。

三傻大闹宝莱坞
9.1
英俊版憨豆,高情商版谢耳朵。

放牛班的春天
9.2
天籁一般的童声,是最接近上帝的存在。

忠犬八公的故事
9.2
永远都不能忘记你所爱的人。

龙猫
9.1
人人心中都有个龙猫,童年就永远不会消失。

大话西游之大圣娶亲
9.1
一生所爱。

教父
9.2
千万不要记恨你的对手,这样会让你失去理智。

乱世佳人
9.2
Tomorrow is another day.

天堂电影院
9.1
那些吻戏,那些青春,都在影院的黑暗里被泪水冲刷得无比清晰。

当幸福来敲门
8.9
平民励志片。

搏击俱乐部
9.0
邪恶与平庸蛰伏于同一个母体,在特定的时间互相对峙。

楚门的世界
9.0
如果再也不能见到你,祝你早安,午安,晚安。

触不可及
9.1
满满温情的高雅喜剧。

指环王3:王者无敌
9.1
史诗的终章。

罗马假日
8.9
爱情哪怕只有一天。

当然这只是第一页的25条,我们已经知道了豆瓣电影top250的url是

https://movie.douban.com/top250?start=0
start参数从0,每次加25,直到

https://movie.douban.com/top250?start=225
所以可以写个循环把它们都抓下来。

Python 相关文章推荐
进一步探究Python的装饰器的运用
May 05 Python
讲解Python中if语句的嵌套用法
May 14 Python
Python基于identicon库创建类似Github上用的头像功能
Sep 25 Python
Linux下远程连接Jupyter+pyspark部署教程
Jun 21 Python
python django 原生sql 获取数据的例子
Aug 14 Python
python打包成so文件过程解析
Sep 28 Python
Python实现快速排序的方法详解
Oct 25 Python
pygame实现五子棋游戏
Oct 29 Python
python装饰器的特性原理详解
Dec 25 Python
Python3加密解密库Crypto的RSA加解密和签名/验签实现方法实例
Feb 11 Python
详解Python小数据池和代码块缓存机制
Apr 07 Python
用python实现监控视频人数统计
May 21 Python
Linux下通过python访问MySQL、Oracle、SQL Server数据库的方法
Apr 23 #Python
Python 中的 else详解
Apr 23 #Python
Python 探针的实现原理
Apr 23 #Python
一键搞定python连接mysql驱动有关问题(windows版本)
Apr 23 #Python
Linux 发邮件磁盘空间监控(python)
Apr 23 #Python
web.py 十分钟创建简易博客实现代码
Apr 22 #Python
在windows下快速搭建web.py开发框架方法
Apr 22 #Python
You might like
MySQL数据源表结构图示
2008/06/05 PHP
php中自定义函数dump查看数组信息类似var_dump
2014/01/27 PHP
php替换字符串中间字符为省略号的方法
2015/05/04 PHP
PHP中如何判断exec函数执行成功?
2016/08/04 PHP
javascript GUID生成器实现代码
2009/10/31 Javascript
jquery实现居中弹出层代码
2010/08/25 Javascript
基于jquery点击自以外任意处,关闭自身的代码
2012/02/10 Javascript
Javascript图像处理—虚拟边缘介绍及使用方法
2012/12/27 Javascript
基于jquery的simpleValidate简易验证插件
2014/01/31 Javascript
基于jQuery实现页面搜索功能
2020/03/26 Javascript
jQuery实现的图片轮播效果完整示例
2016/09/12 Javascript
浅析JavaScript中的平稳退化(graceful degradation)
2017/07/24 Javascript
Angular2 组件交互实例详解
2017/08/24 Javascript
详解如何在你的Vue项目配置vux
2018/06/04 Javascript
vue拖拽组件使用方法详解
2018/12/01 Javascript
js canvas实现5张图片合成一张图片
2019/07/15 Javascript
Vue用mixin合并重复代码的实现
2020/11/27 Vue.js
python计算最小优先级队列代码分享
2013/12/18 Python
Python中exit、return、sys.exit()等使用实例和区别
2015/05/28 Python
python爬虫系列Selenium定向爬取虎扑篮球图片详解
2017/11/15 Python
Python实现的查询mysql数据库并通过邮件发送信息功能
2018/05/17 Python
python 爬虫 批量获取代理ip的实例代码
2018/05/22 Python
详解Python计算机视觉 图像扭曲(仿射扭曲)
2019/03/27 Python
使用Python轻松完成垃圾分类(基于图像识别)
2019/07/09 Python
Python qqbot 实现qq机器人的示例代码
2019/07/11 Python
使用python实现多维数据降维操作
2020/02/24 Python
python图片指定区域替换img.paste函数的使用
2020/04/09 Python
联想哥伦比亚网上商城:Lenovo Colombia
2017/01/10 全球购物
Saucony澳大利亚官网:美国跑鞋品牌,运动鞋中的劳斯莱斯
2018/05/05 全球购物
为奢侈时尚带来了慈善元素:Olivela
2018/09/29 全球购物
来自南加州灵感的工作和娱乐服装:TravisMathew
2019/05/01 全球购物
“四风”问题对照检查材料思想汇报
2014/09/16 职场文书
2014镇党委班子对照检查材料思想汇报
2014/09/23 职场文书
广告公司文案策划岗位职责
2015/04/14 职场文书
SpringBoot 集成Redis 过程
2021/06/02 Redis
画错魏国疆域啦!《派对咖孔明》动画因作画失误于官网致歉
2022/04/07 日漫