python爬虫基础知识点整理


Posted in Python onJune 02, 2020

首先爬虫是什么?

网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动的抓取万维网信息的程序或者脚本。

根据我的经验,要学习Python爬虫,我们要学习的共有以下几点:

  • Python基础知识
  • Python中urllib和urllib2库的用法
  • Python正则表达式
  • Python爬虫框架Scrapy
  • Python爬虫更高级的功能

1.Python基础学习

首先,我们要用Python写爬虫,肯定要了解Python的基础吧,万丈高楼平地起,不能忘啦那地基,哈哈,那么我就分享一下自己曾经看过的一些Python教程,小伙伴们可以作为参考。

1) Python学习网

Python学习网上有大量免费的Python入门教程,以便大家学习。不仅有视频教程,还有相应的问答版块,帮你解决学习过程中的问题,效果还是蛮不错的,内容基本上都是最基础的,入门开始的话,就这个吧

2) 廖雪峰Python教程

后来,我发现了廖老师的Python教程,讲的那是非常通俗易懂哪,感觉也是非常不错,大家如果想进一步了解Python就看一下这个吧。

3) 简明Python教程

还有一个我看过的,简明Python教程,感觉讲的也不错

学习网址:简明Python教程(https://woodpecker.org.cn/abyteofpython_cn/chinese/pr01.html#s01)

4) 汪海的实验室

这是我的本科实验室学长,入门的时候参考的他的文章,自己重新做了总结,后来这些系列文章又在他的基础上增加了一些内容。

学习网址:汪海的实验室(https://blog.csdn.net/wxg694175346/category_1418998_1.html)

2.Python urllib和urllib2 库的用法

urllib和urllib2库是学习Python爬虫最基本的库,利用这个库我们可以得到网页的内容,并对内容用正则表达式提取分析,得到我们想要的结果。这个在学习过程中我会和大家分享的。

3.Python 正则表达式

Python正则表达式是一种用来匹配字符串的强有力的武器。它的设计思想是用一种描述性的语言来给字符串定义一个规则,凡是符合规则的字符串,我们就认为它“匹配”了,否则,该字符串就是不合法的。这个在后面的博文会分享的。

4.爬虫框架Scrapy

如果你是一个Python高手,基本的爬虫知识都已经掌握了,那么就寻觅一下Python框架吧,我选择的框架是Scrapy框架。这个框架有什么强大的功能呢?下面是它的官方介绍:

HTML, XML源数据 选择及提取 的内置支持
提供了一系列在spider之间共享的可复用的过滤器(即 Item Loaders),对智能处理爬取数据提供了内置支持。
通过 feed导出 提供了多格式(JSON、CSV、XML),多存储后端(FTP、S3、本地文件系统)的内置支持
提供了media pipeline,可以 自动下载 爬取到的数据中的图片(或者其他资源)。
高扩展性。您可以通过使用 signals ,设计好的API(中间件, extensions, pipelines)来定制实现您的功能。
内置的中间件及扩展为下列功能提供了支持:
cookies and session 处理
HTTP 压缩
HTTP 认证
HTTP 缓存
user-agent模拟
robots.txt
爬取深度限制
针对非英语语系中不标准或者错误的编码声明, 提供了自动检测以及健壮的编码支持。
支持根据模板生成爬虫。在加速爬虫创建的同时,保持在大型项目中的代码更为一致。详细内容请参阅 genspider 命令。
针对多爬虫下性能评估、失败检测,提供了可扩展的 状态收集工具 。
提供 交互式shell终端 , 为您测试XPath表达式,编写和调试爬虫提供了极大的方便
提供 System service, 简化在生产环境的部署及运行
内置 Web service, 使您可以监视及控制您的机器
内置 Telnet终端 ,通过在Scrapy进程中钩入Python终端,使您可以查看并且调试爬虫
Logging 为您在爬取过程中捕捉错误提供了方便
支持 Sitemaps 爬取
具有缓存的DNS解析器

官方文档:http://doc.scrapy.org/en/latest/

等我们掌握了基础的知识,再用这个 Scrapy 框架吧!

扯了这么多,好像没多少有用的东西额,那就不扯啦!

知识点扩展:

爬虫基本原理

爬虫是 模拟用户在浏览器或者App应用上的操作,把操作的过程、实现自动化的程序

当我们在浏览器中输入一个url后回车,后台会发生什么?比如说你输入https://www.baidu.com

简单来说这段过程发生了以下四个步骤:

  1. 查找域名对应的IP地址。
  2. 浏览器首先访问的是DNS(Domain Name System,域名系统),dns的主要工作就是把域名转换成相应的IP地址向IP对应的服务器发送请求。
  3. 服务器响应请求,发回网页内容。
  4. 浏览器显示网页内容。

网络爬虫要做的,简单来说,就是实现浏览器的功能。通过指定url,直接返回给用户所需要的数据, 而不需要一步步人工去操纵浏览器获取。

到此这篇关于python爬虫基础知识点整理的文章就介绍到这了,更多相关Python2爬虫入门内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
sqlalchemy对象转dict的示例
Apr 22 Python
python元组操作实例解析
Sep 23 Python
Python发送以整个文件夹的内容为附件的邮件的教程
May 06 Python
Python使用自带的ConfigParser模块读写ini配置文件
Jun 26 Python
Python线程下使用锁的技巧分享
Sep 13 Python
Django shell调试models输出的SQL语句方法
Aug 29 Python
使用PyInstaller将Pygame库编写的小游戏程序打包为exe文件及出现问题解决方法
Sep 06 Python
python编程进阶之类和对象用法实例分析
Feb 21 Python
Pycharm激活码激活两种快速方式(附最新激活码和插件)
Mar 12 Python
Python爬虫实现vip电影下载的示例代码
Apr 20 Python
Python 将 QQ 好友头像生成祝福语的实现代码
May 03 Python
用pandas划分数据集实现训练集和测试集
Jul 20 Python
如何理解python面向对象编程
Jun 01 #Python
Python CSS选择器爬取京东网商品信息过程解析
Jun 01 #Python
matlab、python中矩阵的互相导入导出方式
Jun 01 #Python
如何理解Python中的变量
Jun 01 #Python
pycharm实现print输出保存到txt文件
Jun 01 #Python
Python如何爬取qq音乐歌词到本地
Jun 01 #Python
pycharm sciview的图片另存为操作
Jun 01 #Python
You might like
桌面中心(一)创建数据库
2006/10/09 PHP
默默简单的写了一个模板引擎
2007/01/02 PHP
优化PHP代码的53条建议
2008/03/27 PHP
php不使用插件导出excel的简单方法
2014/03/04 PHP
php获取远程文件的内容和大小
2015/11/03 PHP
Thinkphp实现短信验证注册功能
2016/10/18 PHP
php实现批量上传数据到数据库(.csv格式)的案例
2017/06/18 PHP
YII框架实现自定义第三方扩展操作示例
2019/04/26 PHP
laravel 解决groupBy时出现的错误 isn't in Group By问题
2019/10/17 PHP
laravel中的fillable和guarded属性详解
2019/10/23 PHP
编写针对IE的JS代码两种编写方法
2013/01/30 Javascript
JavaScript中的style.display属性操作
2013/03/27 Javascript
浅谈javascript的Touch事件
2015/09/27 Javascript
vue mint-ui 实现省市区街道4级联动示例(仿淘宝京东收货地址4级联动)
2017/10/16 Javascript
bing Map 在vue项目中的使用详解
2018/04/09 Javascript
vue动画打包后失效问题的解决方法
2018/09/18 Javascript
JavaScript的词法结构精华篇
2018/10/17 Javascript
vue-cli —— 如何局部修改Element样式
2020/10/22 Javascript
Python中删除文件的程序代码
2011/03/13 Python
利用Python批量压缩png方法实例(支持过滤个别文件与文件夹)
2017/07/30 Python
Python cookbook(数据结构与算法)将名称映射到序列元素中的方法
2018/03/22 Python
python 字典中取值的两种方法小结
2018/08/02 Python
Python生成器generator用法示例
2018/08/10 Python
python+os根据文件名自动生成文本
2019/03/21 Python
python如何解析配置文件并应用到项目中
2019/06/27 Python
Python实现个人微信号自动监控告警的示例
2019/07/03 Python
pyecharts调整图例与各板块的位置间距实例
2020/05/16 Python
一款利用纯css3实现的360度翻转按钮的实例教程
2014/11/05 HTML / CSS
英国标志性奢侈品牌:Burberry
2016/07/28 全球购物
汇集了世界上最好的天然和有机美容产品:LoveLula
2018/02/05 全球购物
美丽的珠宝配饰:SmallThings
2019/09/04 全球购物
建筑工程专业毕业生自荐信
2013/10/19 职场文书
成龙霸王洗发水广告词
2014/03/14 职场文书
爱耳日宣传活动总结
2014/07/05 职场文书
民事申诉状范本
2015/05/20 职场文书
CSS 实现Chrome标签栏的技巧
2021/08/04 HTML / CSS