一个月入门Python爬虫学习,轻松爬取大规模数据


Posted in Python onJanuary 03, 2018

Python爬虫为什么受欢迎

如果你仔细观察,就不难发现,懂爬虫、学习爬虫的人越来越多,一方面,互联网可以获取的数据越来越多,另一方面,像 Python这样的编程语言提供越来越多的优秀工具,让爬虫变得简单、容易上手。

一个月入门Python爬虫学习,轻松爬取大规模数据

利用爬虫我们可以获取大量的价值数据,从而获得感性认识中不能得到的信息,比如:

知乎:爬取优质答案,为你筛选出各话题下最优质的内容。

淘宝、京东:抓取商品、评论及销量数据,对各种商品及用户的消费场景进行分析。

安居客、链家:抓取房产买卖及租售信息,分析房价变化趋势、做不同区域的房价分析。

拉勾网、智联:爬取各类职位信息,分析各行业人才需求情况及薪资水平。

雪球网:抓取雪球高回报用户的行为,对股票市场进行分析和预测。

对于小白来说,爬虫可能是一件非常复杂、技术门槛很高的事情。比如有人认为学爬虫必须精通 Python,然后哼哧哼哧系统学习 Python 的每个知识点,很久之后发现仍然爬不了数据;有的人则认为先要掌握网页的知识,遂开始 HTML\CSS,结果入了前端的坑,瘁……

但掌握正确的方法,在短时间内做到能够爬取主流网站的数据,其实非常容易实现,但建议你从一开始就要有一个具体的目标。

在目标的驱动下,你的学习才会更加精准和高效。那些所有你认为必须的前置知识,都是可以在完成目标的过程中学到的。这里给你一条平滑的、零基础快速入门的学习路径。

1.学习 Python 包并实现基本的爬虫过程

2.了解非结构化数据的存储

3.学习scrapy,搭建工程化爬虫

4.学习数据库知识,应对大规模数据存储与提取

5.掌握各种技巧,应对特殊网站的反爬措施

6.分布式爬虫,实现大规模并发采集,提升效率

 - ❶ -

学习 Python 包并实现基本的爬虫过程

大部分爬虫都是按“发送请求——获得页面——解析页面——抽取并储存内容”这样的流程来进行,这其实也是模拟了我们使用浏览器获取网页信息的过程。

Python中爬虫相关的包很多:urllib、requests、bs4、scrapy、pyspider 等,建议从requests+Xpath 开始,requests 负责连接网站,返回网页,Xpath 用于解析网页,便于抽取数据。

如果你用过 BeautifulSoup,会发现 Xpath 要省事不少,一层一层检查元素代码的工作,全都省略了。这样下来基本套路都差不多,一般的静态网站根本不在话下,豆瓣、糗事百科、腾讯新闻等基本上都可以上手了。

当然如果你需要爬取异步加载的网站,可以学习浏览器抓包分析真实请求或者学习Selenium来实现自动化,这样,知乎、时光网、猫途鹰这些动态的网站也可以迎刃而解。

 - ❷ -

了解非结构化数据的存储

爬回来的数据可以直接用文档形式存在本地,也可以存入数据库中。

开始数据量不大的时候,你可以直接通过 Python 的语法或 pandas 的方法将数据存为csv这样的文件。

当然你可能发现爬回来的数据并不是干净的,可能会有缺失、错误等等,你还需要对数据进行清洗,可以学习 pandas 包的基本用法来做数据的预处理,得到更干净的数据。

- ❸ -

学习 scrapy,搭建工程化的爬虫

掌握前面的技术一般量级的数据和代码基本没有问题了,但是在遇到非常复杂的情况,可能仍然会力不从心,这个时候,强大的 scrapy 框架就非常有用了。

scrapy 是一个功能非常强大的爬虫框架,它不仅能便捷地构建request,还有强大的 selector 能够方便地解析 response,然而它最让人惊喜的还是它超高的性能,让你可以将爬虫工程化、模块化。

学会 scrapy,你可以自己去搭建一些爬虫框架,你就基本具备爬虫工程师的思维了。

- ❹ -

学习数据库基础,应对大规模数据存储

爬回来的数据量小的时候,你可以用文档的形式来存储,一旦数据量大了,这就有点行不通了。所以掌握一种数据库是必须的,学习目前比较主流的 MongoDB 就OK。

MongoDB 可以方便你去存储一些非结构化的数据,比如各种评论的文本,图片的链接等等。你也可以利用PyMongo,更方便地在Python中操作MongoDB。

因为这里要用到的数据库知识其实非常简单,主要是数据如何入库、如何进行提取,在需要的时候再学习就行。

- ❺ -

掌握各种技巧,应对特殊网站的反爬措施

当然,爬虫过程中也会经历一些绝望啊,比如被网站封IP、比如各种奇怪的验证码、userAgent访问限制、各种动态加载等等。

遇到这些反爬虫的手段,当然还需要一些高级的技巧来应对,常规的比如访问频率控制、使用代理IP池、抓包、验证码的OCR处理等等。

往往网站在高效开发和反爬虫之间会偏向前者,这也为爬虫提供了空间,掌握这些应对反爬虫的技巧,绝大部分的网站已经难不到你了。

 - ❻ -

分布式爬虫,实现大规模并发采集

爬取基本数据已经不是问题了,你的瓶颈会集中到爬取海量数据的效率。这个时候,相信你会很自然地接触到一个很厉害的名字:分布式爬虫。

分布式这个东西,听起来很恐怖,但其实就是利用多线程的原理让多个爬虫同时工作,需要你掌握 Scrapy + MongoDB + Redis 这三种工具。

Scrapy 前面我们说过了,用于做基本的页面爬取,MongoDB 用于存储爬取的数据,Redis 则用来存储要爬取的网页队列,也就是任务队列。

所以有些东西看起来很吓人,但其实分解开来,也不过如此。当你能够写分布式的爬虫的时候,那么你可以去尝试打造一些基本的爬虫架构了,实现一些更加自动化的数据获取。

你看,这一条学习路径下来,你已然可以成为老司机了,非常的顺畅。所以在一开始的时候,尽量不要系统地去啃一些东西,找一个实际的项目(开始可以从豆瓣、小猪这种简单的入手),直接开始就好。

因为爬虫这种技术,既不需要你系统地精通一门语言,也不需要多么高深的数据库技术,高效的姿势就是从实际的项目中去学习这些零散的知识点,你能保证每次学到的都是最需要的那部分。

总结

以上所述是小编给大家介绍的一个月入门Python学习,爬虫轻松爬取大规模数据,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!

Python 相关文章推荐
Python contextlib模块使用示例
Feb 18 Python
如何准确判断请求是搜索引擎爬虫(蜘蛛)发出的请求
Oct 13 Python
python中子类调用父类函数的方法示例
Aug 18 Python
python自动截取需要区域,进行图像识别的方法
May 17 Python
基于Python的PIL库学习详解
May 10 Python
用OpenCV将视频分解成单帧图片,图片合成视频示例
Dec 10 Python
Python通过正则库爬取淘宝商品信息代码实例
Mar 02 Python
详解tensorflow2.x版本无法调用gpu的一种解决方法
May 25 Python
python pandas dataframe 去重函数的具体使用
Jul 20 Python
使用Python绘制台风轨迹图的示例代码
Sep 21 Python
详解Python yaml模块
Sep 23 Python
python自动统计zabbix系统监控覆盖率的示例代码
Apr 03 Python
Python编程pygame模块实现移动的小车示例代码
Jan 03 #Python
python编程实现随机生成多个椭圆实例代码
Jan 03 #Python
Python通过Pygame绘制移动的矩形实例代码
Jan 03 #Python
Python模拟脉冲星伪信号频率实例代码
Jan 03 #Python
Python简单实现socket信息发送与监听功能示例
Jan 03 #Python
python实现Floyd算法
Jan 03 #Python
Python如何生成树形图案
Jan 03 #Python
You might like
基于mysql的论坛(5)
2006/10/09 PHP
黑夜路人出的几道php笔试题
2009/08/04 PHP
关于php开启错误提示的总结
2019/09/24 PHP
Google韩国首页图标动画效果
2007/08/26 Javascript
eval与window.eval的差别分析
2011/03/17 Javascript
JavaScript中使用构造器创建对象无需new的情况说明
2012/03/01 Javascript
读取input:file的路径并显示本地图片的方法
2013/09/23 Javascript
使用js完成节点的增删改复制等的操作
2014/01/02 Javascript
js获取上传文件大小示例代码
2014/04/10 Javascript
Node.js中对通用模块的封装方法
2014/06/06 Javascript
JQuery标签页效果实例详解
2015/12/24 Javascript
Jquery ajax请求导出Excel表格的实现代码
2016/06/08 Javascript
KnockoutJS 3.X API 第四章之表单submit、enable、disable绑定
2016/10/10 Javascript
js 实现获取name 相同的页面元素并循环遍历的方法
2017/02/14 Javascript
JavaScript中的this陷阱的最全收集并整理(没有之一)
2017/02/21 Javascript
JavaScript表单验证实现代码
2017/05/22 Javascript
bootstrap paginator分页插件的两种使用方式实例详解
2017/11/14 Javascript
深入浅析vue组件间事件传递
2017/12/29 Javascript
Vue 实现拖动滑块验证功能(只有css+js没有后台验证步骤)
2018/08/24 Javascript
vue项目搭建以及全家桶的使用详细教程(小结)
2018/12/19 Javascript
Python 文件和输入输出小结
2013/10/09 Python
用Python编写一个国际象棋AI程序
2014/11/28 Python
自学python的建议和周期预算
2019/01/30 Python
Pandas之MultiIndex对象的示例详解
2019/06/25 Python
python模拟鼠标点击和键盘输入的操作
2019/08/04 Python
Python中Subprocess的不同函数解析
2019/12/10 Python
Python利用 utf-8-sig 编码格式解决写入 csv 文件乱码问题
2020/02/21 Python
Python 改变数组类型为uint8的实现
2020/04/09 Python
Python中logging日志的四个等级和使用
2020/11/17 Python
详解Django自定义图片和文件上传路径(upload_to)的2种方式
2020/12/01 Python
德国最大的设计师鞋网上商店:Budapester
2017/12/07 全球购物
诺心蛋糕官网:LE CAKE
2018/08/25 全球购物
后勤园长自我鉴定
2013/10/17 职场文书
读书之星事迹材料
2014/05/12 职场文书
辞职信如何写
2015/02/27 职场文书
和谐拯救危机观后感
2015/06/15 职场文书