利用Python写一个爬妹子的爬虫


Posted in Python onJune 08, 2018

前言

最近学完Python,写了几个爬虫练练手,网上的教程有很多,但是有的已经不能爬了,主要是网站经常改,可是爬虫还是有通用的思路的,即下载数据、解析数据、保存数据。下面一一来讲。

1.下载数据

首先打开要爬的网站,分析URL,每打开一个网页看URL有什么变化,有可能带上上个网页的某个数据,例如xxID之类,那么我们就需要在上一个页面分析HTML,找到对应的数据。如果网页源码找不到,可能是ajax异步加载,去xhr里去找。

 利用Python写一个爬妹子的爬虫

有的网站做了反爬的处理,可以添加User-Agent :判断浏览器

self.user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
# 初始化 headers
self.headers = {'User-Agent': self.user_agent}

如果不行,在Chrome上按F12分析请求头、请求体,看需不需要添加别的信息,例如有的网址添加了referer:记住当前网页的来源,那么我们在请求的时候就可以带上。按Ctrl + Shift + C,可以定位元素在HTML上的位置

动态网页

有一些网页是动态网页,我们得到网页的时候,数据还没请求到呢,当然什么都提取不出来,用Python 解决这个问题只有两种途径:直接从JavaScript 代码里采集内容,或者用Python 的第三方库运行JavaScript,直接采集你在浏览器里看到的页面。

1.找请求,看返回的内容,网页的内容可能就在这里。然后可以复制请求,复杂的网址中,有些乱七八糟的可以删除,有意义的部分保留。切记删除一小部分后先尝试能不能打开网页,如果成功再删减,直到不能删减。

2.Selenium:是一个强大的网络数据采集工具(但是速度慢),其最初是为网站自动化测试而开发的。近几年,它还被广泛用于获取精确的网站快照,因为它们可以直接运行在浏览器上。Selenium 库是一个在WebDriver 上调用的API。

WebDriver 有点儿像可以加载网站的浏览器,但是它也可以像BeautifulSoup对象一样用来查找页面元素,与页面上的元素进行交互(发送文本、点击等),以及执行其他动作来运行网络爬虫。

PhantomJS:是一个“无头”(headless)浏览器。它会把网站加载到内存并执行页面上的JavaScript,但是它不会向用户展示网页的图形界面。把Selenium和PhantomJS 结合在一起,就可以运行一个非常强大的网络爬虫了,可以处理cookie、JavaScript、header,以及任何你需要做的事情。

下载数据的模块有urllib、urllib2及Requests

Requests相比其他俩个的话,支持HTTP连接保持和连接池,支持使用cookie保持会话,支持文件上传,支持自 动确定响应内容的编码,支持国际化的 URL 和 POST 数据自动编码,而且api相对来说也简单,但是requests直接使用不能异步调用,速度慢。

html = requests.get(url, headers=headers) #没错,就是这么简单

urllib2以我爬取淘宝的妹子例子来说明: 

利用Python写一个爬妹子的爬虫

user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
headers = {'User-Agent': user_agent}
# 注意:form data请求参数
params = 'q&viewFlag=A&sortType=default&searchStyle=&searchRegion=city%3A&searchFansNum=¤tPage=1&pageSize=100'
 
 
def getHome():
 url = 'https://mm.taobao.com/tstar/search/tstar_model.do?_input_charset=utf-8'
 req = urllib2.Request(url, headers=headers)
 # decode('utf - 8')解码 把其他编码转换成unicode编码
 # encode('gbk') 编码 把unicode编码转换成其他编码
 # ”gbk”.decode('gbk').encode('utf - 8')
 # unicode = 中文
 # gbk = 英文
 # utf - 8 = 日文
 # 英文一 > 中文一 > 日文,unicode相当于转化器
 html = urllib2.urlopen(req, data=params).read().decode('gbk').encode('utf-8')
 # json转对象
 peoples = json.loads(html)
 for i in peoples['data']['searchDOList']:
 #去下一个页面获取数据
 getUseInfo(i['userId'], i['realName'])

2.解析数据

解析数据也有很多方式,我只看了beautifulsoup和正则,这个例子是用正则来解析的

def getUseInfo(userId, realName):
 url = 'https://mm.taobao.com/self/aiShow.htm?userId=' + str(userId)
 req = urllib2.Request(url)
 html = urllib2.urlopen(req).read().decode('gbk').encode('utf-8')
 
 pattern = re.compile('<img.*?src=(.*?)/>', re.S)
 items = re.findall(pattern, html)
 x = 0
 for item in items:
 if re.match(r'.*(.jpg")$', item.strip()):
 tt = 'http:' + re.split('"', item.strip())[1]
 down_image(tt, x, realName)
 x = x + 1
 print('下载完毕')

正则表达式说明

match:匹配string 开头,成功返回Match object, 失败返回None,只匹配一个。

search:在string中进行搜索,成功返回Match object, 失败返回None, 只匹配一个。

findall:在string中查找所有 匹配成功的组, 即用括号括起来的部分。返回list对象,每个list item是由每个匹配的所有组组成的list。

     1).*? 是一个固定的搭配,.和*代表可以匹配任意无限多个字符,加上?表示使用非贪婪模式进行匹配,也就是我们会尽可能短地做匹配

     2)(.*?)代表一个分组,如果有5个(.*?)就说明匹配了五个分组

     3) 正则表达式中,“.”的作用是匹配除“\n”以外的任何字符,也就是说,它是在一行中进行匹配。这里的“行”是以“\n”进行区分的。HTML标签每行的末尾有一个“\n”,不过它不可见。 如果不使用re.S参数,则只在每一行内进行匹配,如果一行没有,就换下一行重新开始,不会跨行。而使用re.S参数以后,正则表达式会将这个字符串作为一个整体,将“\n”当做一个普通的字符加入到这个字符串中,在整体中进行匹配。

3.保存数据

数据解析后可以保存到文件或数据库中,这个例子是保存到了文件中,很简单,就不做说明了,在下篇讲如何将数据保存到数据库

def down_image(url, filename, realName):
 req = urllib2.Request(url=url)
 folder = 'e:\\images\\%s' % realName
 if os.path.isdir(folder):
 pass
 else:
 os.makedirs(folder)
 
 f = folder + '\\%s.jpg' % filename
 if not os.path.isfile(f):
 print f
 binary_data = urllib2.urlopen(req).read()
 with open(f, 'wb') as temp_file:
 temp_file.write(binary_data)

GitHub地址,还有其他网站爬虫,欢迎star:https://github.com/peiniwan/CreeperTest (本地下载)

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对三水点靠木的支持。

Python 相关文章推荐
在Python中使用mechanize模块模拟浏览器功能
May 05 Python
Python制作简易注册登录系统
Dec 15 Python
Python在不同目录下导入模块的实现方法
Oct 27 Python
python实现爬虫抓取小说功能示例【抓取金庸小说】
Aug 09 Python
让你的Python代码实现类型提示功能
Nov 19 Python
python实现简单日志记录库glog的使用
Dec 13 Python
Python ORM框架Peewee用法详解
Apr 29 Python
Python函数的迭代器与生成器的示例代码
Jun 18 Python
详解Flask前后端分离项目案例
Jul 24 Python
浅析python 通⽤爬⾍和聚焦爬⾍
Sep 28 Python
Ubuntu20.04环境安装tensorflow2的方法步骤
Jan 29 Python
聊聊基于pytorch实现Resnet对本地数据集的训练问题
Mar 25 Python
python os用法总结
Jun 08 #Python
Python DataFrame 设置输出不显示index(索引)值的方法
Jun 07 #Python
浅谈Pandas 排序之后索引的问题
Jun 07 #Python
pandas.dataframe中根据条件获取元素所在的位置方法(索引)
Jun 07 #Python
python pandas 对series和dataframe的重置索引reindex方法
Jun 07 #Python
浅谈Series和DataFrame中的sort_index方法
Jun 07 #Python
解决DataFrame排序sort的问题
Jun 07 #Python
You might like
PHP命名空间namespace的定义方法详解
2017/03/29 PHP
Laravel中log无法写入问题的解决
2017/06/17 PHP
input 高级限制级用法
2009/03/26 Javascript
jquery实现漂浮在网页右侧的qq在线客服插件示例
2013/05/13 Javascript
js使用eval解析json实例与注意事项分享
2014/01/18 Javascript
jQuery的几个我们必须了解的特点
2015/05/03 Javascript
JavaScript实现函数返回多个值的方法
2015/06/09 Javascript
浅谈angular.js中实现双向绑定的方法$watch $digest $apply
2015/10/14 Javascript
jQuery Easyui学习之datagrid 动态添加、移除editor
2016/01/27 Javascript
JavaScript+CSS实现的可折叠二级菜单实例
2016/02/29 Javascript
很棒的js选项卡切换效果
2016/07/15 Javascript
微信小程序 定义全局数据、函数复用、模版等详细介绍
2016/10/27 Javascript
javascript获取以及设置光标位置
2017/02/16 Javascript
jQuery模拟爆炸倒计时功能实例代码
2017/08/21 jQuery
深入浅析ES6 Class 中的 super 关键字
2017/10/20 Javascript
使用javascript做在线算法编程
2018/05/25 Javascript
Vue中$refs的用法详解
2018/06/24 Javascript
深入探索VueJS Scoped CSS 实现原理
2019/09/23 Javascript
vue+elementUI中表格高亮或字体颜色改变操作
2020/11/02 Javascript
python实现逆波兰计算表达式实例详解
2015/05/06 Python
pandas分别写入excel的不同sheet方法
2018/12/11 Python
用python3 返回鼠标位置的实现方法(带界面)
2019/07/05 Python
调试Django时打印SQL语句的日志代码实例
2019/09/12 Python
Python高级property属性用法实例分析
2019/11/19 Python
Python字典实现伪切片功能
2020/10/28 Python
python requests库的使用
2021/01/06 Python
HTML5 Canvas 起步(2) - 路径
2009/05/12 HTML / CSS
HTML5 canvas基本绘图之填充样式实现
2016/06/27 HTML / CSS
关于webview适配H5上传照片或者视频文件的方法
2020/11/04 HTML / CSS
澳大利亚领先的在线礼品网站:Gifts Australia
2020/08/15 全球购物
shell程序中如何注释
2012/01/28 面试题
党员志愿者活动方案
2014/08/28 职场文书
2014年党委工作总结
2014/11/22 职场文书
2014年销售内勤工作总结
2014/12/01 职场文书
2016国培研修心得体会
2016/01/08 职场文书
Feign调用全局异常处理解决方案
2021/06/24 Java/Android