python爬虫基础知识点整理


Posted in Python onJune 02, 2020

首先爬虫是什么?

网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动的抓取万维网信息的程序或者脚本。

根据我的经验,要学习Python爬虫,我们要学习的共有以下几点:

  • Python基础知识
  • Python中urllib和urllib2库的用法
  • Python正则表达式
  • Python爬虫框架Scrapy
  • Python爬虫更高级的功能

1.Python基础学习

首先,我们要用Python写爬虫,肯定要了解Python的基础吧,万丈高楼平地起,不能忘啦那地基,哈哈,那么我就分享一下自己曾经看过的一些Python教程,小伙伴们可以作为参考。

1) Python学习网

Python学习网上有大量免费的Python入门教程,以便大家学习。不仅有视频教程,还有相应的问答版块,帮你解决学习过程中的问题,效果还是蛮不错的,内容基本上都是最基础的,入门开始的话,就这个吧

2) 廖雪峰Python教程

后来,我发现了廖老师的Python教程,讲的那是非常通俗易懂哪,感觉也是非常不错,大家如果想进一步了解Python就看一下这个吧。

3) 简明Python教程

还有一个我看过的,简明Python教程,感觉讲的也不错

学习网址:简明Python教程(https://woodpecker.org.cn/abyteofpython_cn/chinese/pr01.html#s01)

4) 汪海的实验室

这是我的本科实验室学长,入门的时候参考的他的文章,自己重新做了总结,后来这些系列文章又在他的基础上增加了一些内容。

学习网址:汪海的实验室(https://blog.csdn.net/wxg694175346/category_1418998_1.html)

2.Python urllib和urllib2 库的用法

urllib和urllib2库是学习Python爬虫最基本的库,利用这个库我们可以得到网页的内容,并对内容用正则表达式提取分析,得到我们想要的结果。这个在学习过程中我会和大家分享的。

3.Python 正则表达式

Python正则表达式是一种用来匹配字符串的强有力的武器。它的设计思想是用一种描述性的语言来给字符串定义一个规则,凡是符合规则的字符串,我们就认为它“匹配”了,否则,该字符串就是不合法的。这个在后面的博文会分享的。

4.爬虫框架Scrapy

如果你是一个Python高手,基本的爬虫知识都已经掌握了,那么就寻觅一下Python框架吧,我选择的框架是Scrapy框架。这个框架有什么强大的功能呢?下面是它的官方介绍:

HTML, XML源数据 选择及提取 的内置支持
提供了一系列在spider之间共享的可复用的过滤器(即 Item Loaders),对智能处理爬取数据提供了内置支持。
通过 feed导出 提供了多格式(JSON、CSV、XML),多存储后端(FTP、S3、本地文件系统)的内置支持
提供了media pipeline,可以 自动下载 爬取到的数据中的图片(或者其他资源)。
高扩展性。您可以通过使用 signals ,设计好的API(中间件, extensions, pipelines)来定制实现您的功能。
内置的中间件及扩展为下列功能提供了支持:
cookies and session 处理
HTTP 压缩
HTTP 认证
HTTP 缓存
user-agent模拟
robots.txt
爬取深度限制
针对非英语语系中不标准或者错误的编码声明, 提供了自动检测以及健壮的编码支持。
支持根据模板生成爬虫。在加速爬虫创建的同时,保持在大型项目中的代码更为一致。详细内容请参阅 genspider 命令。
针对多爬虫下性能评估、失败检测,提供了可扩展的 状态收集工具 。
提供 交互式shell终端 , 为您测试XPath表达式,编写和调试爬虫提供了极大的方便
提供 System service, 简化在生产环境的部署及运行
内置 Web service, 使您可以监视及控制您的机器
内置 Telnet终端 ,通过在Scrapy进程中钩入Python终端,使您可以查看并且调试爬虫
Logging 为您在爬取过程中捕捉错误提供了方便
支持 Sitemaps 爬取
具有缓存的DNS解析器

官方文档:http://doc.scrapy.org/en/latest/

等我们掌握了基础的知识,再用这个 Scrapy 框架吧!

扯了这么多,好像没多少有用的东西额,那就不扯啦!

知识点扩展:

爬虫基本原理

爬虫是 模拟用户在浏览器或者App应用上的操作,把操作的过程、实现自动化的程序

当我们在浏览器中输入一个url后回车,后台会发生什么?比如说你输入https://www.baidu.com

简单来说这段过程发生了以下四个步骤:

  1. 查找域名对应的IP地址。
  2. 浏览器首先访问的是DNS(Domain Name System,域名系统),dns的主要工作就是把域名转换成相应的IP地址向IP对应的服务器发送请求。
  3. 服务器响应请求,发回网页内容。
  4. 浏览器显示网页内容。

网络爬虫要做的,简单来说,就是实现浏览器的功能。通过指定url,直接返回给用户所需要的数据, 而不需要一步步人工去操纵浏览器获取。

到此这篇关于python爬虫基础知识点整理的文章就介绍到这了,更多相关Python2爬虫入门内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
进一步探究Python中的正则表达式
Apr 28 Python
python套接字流重定向实例汇总
Mar 03 Python
python安装Scrapy图文教程
Aug 14 Python
Python获取网段内ping通IP的方法
Jan 31 Python
numpy.linspace函数具体使用详解
May 27 Python
Python循环中else,break和continue的用法实例详解
Jul 11 Python
Python 取numpy数组的某几行某几列方法
Oct 24 Python
Python迭代器模块itertools使用原理解析
Dec 11 Python
基于Python 中函数的 收集参数 机制
Dec 21 Python
Tensorflow 定义变量,函数,数值计算等名字的更新方式
Feb 10 Python
python剪切视频与合并视频的实现
Mar 03 Python
Python如何使用ConfigParser读取配置文件
Nov 12 Python
如何理解python面向对象编程
Jun 01 #Python
Python CSS选择器爬取京东网商品信息过程解析
Jun 01 #Python
matlab、python中矩阵的互相导入导出方式
Jun 01 #Python
如何理解Python中的变量
Jun 01 #Python
pycharm实现print输出保存到txt文件
Jun 01 #Python
Python如何爬取qq音乐歌词到本地
Jun 01 #Python
pycharm sciview的图片另存为操作
Jun 01 #Python
You might like
启用Csrf后POST数据时出现的400错误
2015/07/05 PHP
thinkPHP3.1验证码的简单实现方法
2016/04/22 PHP
filemanage功能中用到的common.js
2007/04/08 Javascript
js加解密 脚本解密
2008/02/22 Javascript
jquery打开直接跳到网页最下面、最低端实现代码
2013/04/22 Javascript
javascript闭包的理解
2015/04/01 Javascript
ajax读取数据后使用jqchart显示图表的方法
2015/06/10 Javascript
轻松学习jQuery插件EasyUI EasyUI实现拖放商品放置购物车
2015/11/30 Javascript
AngularJS表格详解及示例代码
2016/08/17 Javascript
jQuery实现鼠标经过时高亮,同时其他同级元素变暗的效果
2016/09/18 Javascript
Node.js Sequelize如何实现数据库的读写分离
2016/10/23 Javascript
快速掌握jQuery插件WebUploader文件上传
2016/11/07 Javascript
微信小程序 slider的简单实例
2017/04/19 Javascript
Vue-Cli中自定义过滤器的实现代码
2017/08/12 Javascript
基于require.js的使用(实例讲解)
2017/09/07 Javascript
Vue利用canvas实现移动端手写板的方法
2018/05/03 Javascript
在vue2.0中引用element-ui组件库的方法
2018/06/21 Javascript
layer.open关闭父窗口 以及调用父页面的方法
2018/08/17 Javascript
如何去除富文本中的html标签及vue、react、微信小程序中的过滤器
2018/11/21 Javascript
Vue数字输入框组件使用方法详解
2020/02/10 Javascript
Python转码问题的解决方法
2008/10/07 Python
python进阶教程之词典、字典、dict
2014/08/29 Python
python转换字符串为摩尔斯电码的方法
2015/07/06 Python
python爬取51job中hr的邮箱
2016/05/14 Python
Python使用defaultdict读取文件各列的方法
2017/05/11 Python
python matlibplot绘制3D图形
2018/07/02 Python
python如何制作英文字典
2019/06/25 Python
Python3常用内置方法代码实例
2019/11/18 Python
python实现AHP算法的方法实例(层次分析法)
2020/09/09 Python
Python就将所有的英文单词首字母变成大写
2021/02/12 Python
HTML5之消息通知的使用(Web Notification)
2018/10/30 HTML / CSS
电气自动化大学生求职信
2013/10/16 职场文书
一夜的工作教学反思
2014/02/08 职场文书
信用卡工作证明模板
2014/09/14 职场文书
县委常委班子专题民主生活会查摆问题及整改措施
2014/09/27 职场文书
2015年文员个人工作总结
2015/04/09 职场文书