详解Python网络爬虫功能的基本写法


Posted in Python onJanuary 28, 2016

网络爬虫,即Web Spider,是一个很形象的名字。把互联网比喻成一个蜘蛛网,那么Spider就是在网上爬来爬去的蜘蛛。

1. 网络爬虫的定义

网络蜘蛛是通过网页的链接地址来寻找网页的。从网站某一个页面(通常是首页)开始,读取网页的内容,找到在网页中的其它链接地址,然后通过这些链接地址寻找下一个网页,这样一直循环下去,直到把这个网站所有的网页都抓取完为止。如果把整个互联网当成一个网站,那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。这样看来,网络爬虫就是一个爬行程序,一个抓取网页的程序。网络爬虫的基本操作是抓取网页。

2. 浏览网页的过程

抓取网页的过程其实和读者平时使用IE浏览器浏览网页的道理是一样的。比如说你在浏览器的地址栏中输入    www.baidu.com  这个地址。

打开网页的过程其实就是浏览器作为一个浏览的“客户端”,向服务器端发送了 一次请求,把服务器端的文件“抓”到本地,再进行解释、展现。

HTML是一种标记语言,用标签标记内容并加以解析和区分。浏览器的功能是将获取到的HTML代码进行解析,然后将原始的代码转变成我们直接看到的网站页面。

3. 基于python实现的网络爬虫功能

1). python获取html页面

其实,最基本的抓站,两句话就可以了:

import urllib2
content = urllib2.urlopen('http://XXXX').read()

这样可以得到整个 html 文档,关键的问题是我们可能需要从这个文档中获取我们需要的有用信息,而不是整个文档。这就需要解析充满了各种标签的 html。

2). python爬虫抓取页面后解析html方法

python爬虫html解析库SGMLParser

Python 默认自带 HTMLParser 以及 SGMLParser 等等解析器,前者实在是太难用了,我就用 SGMLParser 写了一个示例程序:

import urllib2
from sgmllib import SGMLParser
 
class ListName(SGMLParser):
def __init__(self):
SGMLParser.__init__(self)
self.is_h4 = ""
self.name = []
def start_h4(self, attrs):
self.is_h4 = 1
def end_h4(self):
self.is_h4 = ""
def handle_data(self, text):
if self.is_h4 == 1:
self.name.append(text)
 
content = urllib2.urlopen('http://169it.com/xxx.htm').read()
listname = ListName()
listname.feed(content)
for item in listname.name:
print item.decode('gbk').encode('utf8')

  很简单,这里定义了一个叫做 ListName 的类,继承 SGMLParser 里面的方法。使用一个变量 is_h4 做标记判定 html 文件中的 h4 标签,如果遇到 h4 标签,则将标签内的内容加入到 List 变量 name 中。解释一下 start_h4() 和 end_h4() 函数,他们原型是 SGMLParser 中的

start_tagname(self, attrs)
end_tagname(self)

tagname 就是标签名称,比如当遇到 <pre>,就会调用 start_pre,遇到 </pre>,就会调用 end_pre。attrs 为标签的参数,以 [(attribute, value), (attribute, value), ...] 的形式传回。

python爬虫html解析库pyQuery

pyQuery 是 jQuery 在 python 中的实现,能够以 jQuery 的语法来操作解析 HTML 文档,十分方便。使用前需要安装,easy_install pyquery 即可,或者 Ubuntu 下

sudo apt-get install python-pyquery

以下例子:

from pyquery import PyQuery as pyq
doc=pyq(url=r'http://169it.com/xxx.html')
cts=doc('.market-cat')
 
for i in cts:
print '====',pyq(i).find('h4').text() ,'===='
for j in pyq(i).find('.sub'):
print pyq(j).text() ,
print '\n'

python爬虫html解析库BeautifulSoup

有个头痛的问题是,大部分的网页都没有完全遵照标准来写,各种莫名其妙的错误令人想要找出那个写网页的人痛打一顿。为了解决这个问题,我们可以选择著名的 BeautifulSoup 来解析html 文档,它具有很好的容错能力。

以上就是本文的全部内容,对Python网络爬虫功能的实现进行了详细的分析介绍,希望对大家的学习有所帮助。

Python 相关文章推荐
基于wxpython开发的简单gui计算器实例
May 30 Python
基于Python函数的作用域规则和闭包(详解)
Nov 29 Python
python脚本生成caffe train_list.txt的方法
Apr 27 Python
python matplotlib绘图,修改坐标轴刻度为文字的实例
May 25 Python
对python3 一组数值的归一化处理方法详解
Jul 11 Python
在ubuntu16.04中将python3设置为默认的命令写法
Oct 31 Python
python模拟登陆,用session维持回话的实例
Dec 27 Python
Python中shapefile转换geojson的示例
Jan 03 Python
ZABBIX3.2使用python脚本实现监控报表的方法
Jul 02 Python
python对矩阵进行转置的2种处理方法
Jul 17 Python
Python爬虫:将headers请求头字符串转为字典的方法
Aug 21 Python
Python QTimer实现多线程及QSS应用过程解析
Jul 11 Python
Python3实现Web网页图片下载
Jan 28 #Python
Python正则获取、过滤或者替换HTML标签的方法
Jan 28 #Python
Python每天必学之bytes字节
Jan 28 #Python
Python装饰器入门学习教程(九步学习)
Jan 28 #Python
基于Python如何使用AIML搭建聊天机器人
Jan 27 #Python
使用Python写个小监控
Jan 27 #Python
基于Python实现通过微信搜索功能查看谁把你删除了
Jan 27 #Python
You might like
第十节--抽象方法和抽象类
2006/11/16 PHP
php下通过IP获取地理位置的代码(小偷程序)
2011/06/09 PHP
php生成缩略图填充白边(等比缩略图方案)
2013/12/25 PHP
linux下安装php的memcached客户端
2014/08/03 PHP
php如何修改SESSION的生存存储时间的实例代码
2017/07/05 PHP
JS匀速运动演示示例代码
2013/11/26 Javascript
Jquery uploadify图片上传插件无法上传的解决方法
2013/12/16 Javascript
Extjs grid panel自带滚动条失效的解决方法
2014/09/11 Javascript
JavaScript实现表格快速变色效果代码
2015/08/19 Javascript
浅析$.getJSON异步请求和同步请求
2016/06/06 Javascript
js两种拼接字符串的简单方法(必看)
2016/09/02 Javascript
Angular和百度地图的结合实例代码
2016/10/19 Javascript
AngularJS中的拦截器实例详解
2017/04/07 Javascript
Node.js连接mongodb实例代码
2017/06/06 Javascript
详解vue2.0 transition 多个元素嵌套使用过渡
2017/06/19 Javascript
Vue项目中引入外部文件的方法(css、js、less)
2017/07/24 Javascript
微信小程序获取手机系统信息的方法【附源码下载】
2017/12/07 Javascript
vue 项目打包通过命令修改 vue-router 模式 修改 API 接口前缀
2018/06/13 Javascript
ligerUI的ligerDialog关闭刷新的方法
2019/09/27 Javascript
JS+Canvas实现五子棋游戏
2020/08/26 Javascript
[49:08]FNATIC vs Infamous 2019国际邀请赛小组赛 BO2 第二场 8.16
2019/08/18 DOTA
浅谈Python类的__getitem__和__setitem__特殊方法
2016/12/25 Python
Python实现判断并移除列表指定位置元素的方法
2018/04/13 Python
python解决js文件utf-8编码乱码问题(推荐)
2018/05/02 Python
Python字符串及文本模式方法详解
2020/09/10 Python
css背景图片的背景裁切、背景透明度、背景变换等效果运用
2012/12/24 HTML / CSS
CSS3实现可翻转的hover效果
2018/05/23 HTML / CSS
HTML5仿手机微信聊天界面
2016/03/18 HTML / CSS
String和StringBuffer的区别
2015/08/13 面试题
临床医师专业个人自我评价范文
2013/11/07 职场文书
三方协议书范本
2014/04/22 职场文书
计算机相关专业自荐信
2014/07/02 职场文书
公司优秀员工获奖感言
2014/08/14 职场文书
2015年机关党委工作总结
2015/05/23 职场文书
AI:如何训练机器学习的模型
2021/04/16 Python
Mysql关于数据库是否应该使用外键约束详解说明
2021/10/24 MySQL