Python 爬虫学习笔记之正则表达式


Posted in Python onSeptember 21, 2016

正则表达式的使用

想要学习 Python 爬虫 , 首先需要了解一下正则表达式的使用,下面我们就来看看如何使用。

. 的使用这个时候的点就相当于一个占位符,可以匹配任意一个字符,什么意思呢?看个例子就知道

import re 
 content = "helloworld" 
 b = re.findall('w.',content) 
 print b`

注意了,我们首先导入了 re,这个时候大家猜一下输出结果是什么?因为 . 相当于一个占位符,所以理所当然的这个时候的输出结果是 wo 。

* 的使用跟上面的 . 不同,* 可以匹配前一个字符任意次数,看个例子

content = "helloworldhelloworld" 
b = re.findall('w*',content) 
print b

这个时候的输出结果是 ['', '', '', '', '', 'w', '', '', '', '', '', '', '', '', '', 'w', '', '', '', '', ''],可见是一个列表,长度和匹配的字符串一致,遇到要匹配的字符就打印出来。

.* 的使用.* 是一种组合使用,它可以尽可能多的匹配内容,比如下面这个例子

content = "helloworldhelloworldworld" 
b = re.findall('he.*ld',content) 
print b

它会输出 ['helloworldhelloworldworld'],它为什么不只打印一个 helloworld,为什么全部打印下来了?这就是一种贪心算法,也就是说我要找到最长的那个符合条件的内容。

.*? 的使用与 上面相反,这个符号会找到尽可能短的符合条件的内容,然后放到一个列表中去,如下所示

content = 'xxhelloworldxxxxhelloworldxx' 
b = re.findall('xx.*?xx',content) 
print b

输出的结果为 ['xxhelloworldxx', 'xxhelloworldxx'],可见,有个 xx 在前面好烦,怎么才能去掉呢?很简单,加个括号即可,括号加在哪?

content = 'xxhelloworldxxxxhelloworldxx' 
b = re.findall('xx(.*?)xx',content) 
print b

以上我们讨论的都是内容不包含换行符的情况,如果有了换行符结果又会发生什么变化呢?

content = '''xxhelloworld xx''' 
b = re.findall('xx(.*?)xx',content) 
print b

这个时候的输出结果为一个空列表,那怎么办啊?如果我们写网络爬虫的时候,网页源代码肯定不止是一行啊,如果换一行我们就读不出来了,那就好尴尬了,当然有解决办法~

content = '''xxhelloworld xx''' 
b = re.findall('xx(.*?)xx',content,re.S) 
print b

这样就可以了,还有一个非常方便的提取数字的技巧,如下所示

content = '''xx123456 xx''' 
b = re.findall('(d+)',content,re.S) 
print b

在网页源代码中爬取图片链接并下载

这篇文章中只是网络爬虫的第一步,所以讲解的也比较浅,所以现在我们先来利用正则表达式实现一个手动的网络爬虫,什么是手动的呢?就是我们自己把网页源代码复制下来,保存在一个 txt 文件中,然后利用正则表达式去过滤信息,然后去下载。

首先我搜索了一下 Linux 桌面,然后找到了如下一个网页

Python 爬虫学习笔记之正则表达式

右击查看网络源代码,按 ctrl+f 搜索 img src 找到中间一部分进行复制,并且粘贴到一个 txt 文件中去,

Python 爬虫学习笔记之正则表达式

然后就可以利用我们上述的知识去提取我们想要的信息,源代码如下

import re import requests 
 f = open('source.txt', 'r') 
 html = f.read() 
 f.close() 
 pattern = '<img src="(.*?)"' 
 pic_url = re.findall(pattern, html, re.S)
 i = 0 
 for each in pic_url: 
   print 'Downloading :' + each 
   pic = requests.get(each) 
   fp = open('picture\\' + str(i) + '.jpg', 'wb') 
   fp.write(pic.content) 
   fp.close() 
   i = i + 1

首先打开我们保存网络源代码的 txt文件,进行读取,关闭文件流,然后就是利用正则表达式提取图片链接,最后利用requests 中的 get() 方法进行图片下载,注意这个 requests 不是Python 中自带的,我们需要下载指定的文件,然后将其放入到 Python 的Lib 目录下,此处下载,进入网站后,按ctrl+f 搜索关键词 requests 就可以看到如下页面

Python 爬虫学习笔记之正则表达式

,可以看出,我们下载的是 .whl 后缀的文件,手动将其改成 .zip 后缀,然后解压,就可以得到两个目录,将名为 requests 的目录复制粘贴到上面讲的目录即可使用。

好了介绍完了,我们去看下运行结果

C:Python27python.exe E:/PythonCode/20160820/Spider.py
 Downloading:http://n1.itc.cn/img8/wb/smccloud/fetch/2015/07/04/112732422680200576.JPG
 Downloading :http://n1.itc.cn/img8/wb/smccloud/fetch/2015/07/04/112640070563900918.JPG
 Downloading :http://n1.itc.cn/img8/wb/smccloud/fetch/2015/07/04/112547718465744154.JPG
 Downloading :http://n1.itc.cn/img8/wb/smccloud/fetch/2015/07/04/112455366330382227.JPG
 Downloading :http://n1.itc.cn/img8/wb/smccloud/fetch/2015/07/04/112363014254719641.JPG
 Downloading :http://n1.itc.cn/img8/wb/smccloud/fetch/2015/07/04/112270662197888742.JPG
 Downloading :http://n1.itc.cn/img8/wb/smccloud/fetch/2015/07/04/112178310031994750.JPG
 Downloading :http://n1.itc.cn/img8/wb/smccloud/fetch/2015/07/04/112085957910403853.JPG
 
 Process finished with exit code 0

这个时候就下载成功了,到我们的 picture 目录下去查看下载的图片

Python 爬虫学习笔记之正则表达式

下载成功了。注意,自己找网页源代码实验的时候,最好不要让链接中带有中文,否则可能会出现乱码,由于我本身学习 Python 也才很短的时间,关于中文乱码问题,应对起来还不是那么得心应手,所以在此也就不再讲解,本文暂时告以段落,有意见或疑问可留言或者私聊我。

Python 相关文章推荐
python 从远程服务器下载东西的代码
Feb 10 Python
Python StringIO模块实现在内存缓冲区中读写数据
Apr 08 Python
Python过滤列表用法实例分析
Apr 29 Python
python中将正则过滤的内容输出写入到文件中的实例
Oct 21 Python
Python设计模式之备忘录模式原理与用法详解
Jan 15 Python
使用Python批量修改文件名的代码实例
Jan 24 Python
Python中turtle库的使用实例
Sep 09 Python
使用Python实现分别输出每个数组
Dec 06 Python
浅谈Tensorflow 动态双向RNN的输出问题
Jan 20 Python
Django实现whoosh搜索引擎使用jieba分词
Apr 08 Python
Python decimal模块使用方法详解
Jun 08 Python
解决pytorch读取自制数据集出现过的问题
May 31 Python
Python简单实现安全开关文件的两种方式
Sep 19 #Python
Python打包可执行文件的方法详解
Sep 19 #Python
Python实现拷贝多个文件到同一目录的方法
Sep 19 #Python
利用Python画ROC曲线和AUC值计算
Sep 19 #Python
Python文件与文件夹常见基本操作总结
Sep 19 #Python
Python实现批量更换指定目录下文件扩展名的方法
Sep 19 #Python
Python按行读取文件的实现方法【小文件和大文件读取】
Sep 19 #Python
You might like
如何在PHP中使用Oracle数据库(6)
2006/10/09 PHP
PHP获取文件的MD5值并判断是否被修改的例子
2014/06/19 PHP
PHP快速生成各种信息提示框的方法
2016/02/03 PHP
thinkphp隐藏index.php/home并允许访问其他模块的实现方法
2016/10/13 PHP
PHP示例演示发送邮件给某个邮箱
2019/04/03 PHP
IE8 中使用加速器(Activities)
2010/05/14 Javascript
收集的一些Array及String原型对象的扩展实现代码
2010/12/05 Javascript
关于jquery ajax 调用带参数的webservice返回XML数据一个小细节
2012/07/31 Javascript
jquery indexOf使用方法
2013/08/19 Javascript
JS将数字转换成三位逗号分隔的样式(示例代码)
2014/02/19 Javascript
深入理解JavaScript系列(25):设计模式之单例模式详解
2015/03/03 Javascript
Vue动态实现评分效果
2017/05/24 Javascript
一个简易的js图片轮播效果
2017/07/22 Javascript
详解如何使用 vue-cli 开发多页应用
2017/12/16 Javascript
vue.js2.0点击获取自己的属性和jquery方法
2018/02/23 jQuery
详解vue指令与$nextTick 操作DOM的不同之处
2018/08/02 Javascript
微信小程序url传参写变量的方法
2018/08/09 Javascript
Vue动态生成el-checkbox点击无法赋值的解决方法
2019/02/21 Javascript
利用vue3+ts实现管理后台(增删改查)
2020/10/30 Javascript
Python实现统计英文文章词频的方法分析
2019/01/28 Python
python实现时间序列自相关图(acf)、偏自相关图(pacf)教程
2020/06/03 Python
Python Spyder 调出缩进对齐线的操作
2021/02/26 Python
css3强大的动画效果animate使用说明及浏览器兼容介绍
2013/01/09 HTML / CSS
用CSS3实现瀑布流布局的示例代码
2017/11/10 HTML / CSS
CSS3实现全景图特效示例代码
2018/03/26 HTML / CSS
萌新的HTML5 入门指南
2020/11/06 HTML / CSS
好药师网上药店:安全合法的网上药品零售药房
2017/02/15 全球购物
跟单文员岗位职责
2014/01/03 职场文书
高一新生军训感言
2014/03/02 职场文书
服务标兵事迹材料
2014/05/04 职场文书
严以律己专题学习研讨会发言材料
2015/11/09 职场文书
2016年安全月活动总结
2016/04/06 职场文书
让人瞬间清醒的句子,句句经典,字字如金
2019/07/08 职场文书
Python机器学习应用之基于线性判别模型的分类篇详解
2022/01/18 Python
宫崎骏十大动画电影,宫崎骏好看的动画电影排名
2022/03/22 日漫
mysql字段为NULL索引是否会失效实例详解
2022/05/30 MySQL