python爬虫基础知识点整理


Posted in Python onJune 02, 2020

首先爬虫是什么?

网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动的抓取万维网信息的程序或者脚本。

根据我的经验,要学习Python爬虫,我们要学习的共有以下几点:

  • Python基础知识
  • Python中urllib和urllib2库的用法
  • Python正则表达式
  • Python爬虫框架Scrapy
  • Python爬虫更高级的功能

1.Python基础学习

首先,我们要用Python写爬虫,肯定要了解Python的基础吧,万丈高楼平地起,不能忘啦那地基,哈哈,那么我就分享一下自己曾经看过的一些Python教程,小伙伴们可以作为参考。

1) Python学习网

Python学习网上有大量免费的Python入门教程,以便大家学习。不仅有视频教程,还有相应的问答版块,帮你解决学习过程中的问题,效果还是蛮不错的,内容基本上都是最基础的,入门开始的话,就这个吧

2) 廖雪峰Python教程

后来,我发现了廖老师的Python教程,讲的那是非常通俗易懂哪,感觉也是非常不错,大家如果想进一步了解Python就看一下这个吧。

3) 简明Python教程

还有一个我看过的,简明Python教程,感觉讲的也不错

学习网址:简明Python教程(https://woodpecker.org.cn/abyteofpython_cn/chinese/pr01.html#s01)

4) 汪海的实验室

这是我的本科实验室学长,入门的时候参考的他的文章,自己重新做了总结,后来这些系列文章又在他的基础上增加了一些内容。

学习网址:汪海的实验室(https://blog.csdn.net/wxg694175346/category_1418998_1.html)

2.Python urllib和urllib2 库的用法

urllib和urllib2库是学习Python爬虫最基本的库,利用这个库我们可以得到网页的内容,并对内容用正则表达式提取分析,得到我们想要的结果。这个在学习过程中我会和大家分享的。

3.Python 正则表达式

Python正则表达式是一种用来匹配字符串的强有力的武器。它的设计思想是用一种描述性的语言来给字符串定义一个规则,凡是符合规则的字符串,我们就认为它“匹配”了,否则,该字符串就是不合法的。这个在后面的博文会分享的。

4.爬虫框架Scrapy

如果你是一个Python高手,基本的爬虫知识都已经掌握了,那么就寻觅一下Python框架吧,我选择的框架是Scrapy框架。这个框架有什么强大的功能呢?下面是它的官方介绍:

HTML, XML源数据 选择及提取 的内置支持
提供了一系列在spider之间共享的可复用的过滤器(即 Item Loaders),对智能处理爬取数据提供了内置支持。
通过 feed导出 提供了多格式(JSON、CSV、XML),多存储后端(FTP、S3、本地文件系统)的内置支持
提供了media pipeline,可以 自动下载 爬取到的数据中的图片(或者其他资源)。
高扩展性。您可以通过使用 signals ,设计好的API(中间件, extensions, pipelines)来定制实现您的功能。
内置的中间件及扩展为下列功能提供了支持:
cookies and session 处理
HTTP 压缩
HTTP 认证
HTTP 缓存
user-agent模拟
robots.txt
爬取深度限制
针对非英语语系中不标准或者错误的编码声明, 提供了自动检测以及健壮的编码支持。
支持根据模板生成爬虫。在加速爬虫创建的同时,保持在大型项目中的代码更为一致。详细内容请参阅 genspider 命令。
针对多爬虫下性能评估、失败检测,提供了可扩展的 状态收集工具 。
提供 交互式shell终端 , 为您测试XPath表达式,编写和调试爬虫提供了极大的方便
提供 System service, 简化在生产环境的部署及运行
内置 Web service, 使您可以监视及控制您的机器
内置 Telnet终端 ,通过在Scrapy进程中钩入Python终端,使您可以查看并且调试爬虫
Logging 为您在爬取过程中捕捉错误提供了方便
支持 Sitemaps 爬取
具有缓存的DNS解析器

官方文档:http://doc.scrapy.org/en/latest/

等我们掌握了基础的知识,再用这个 Scrapy 框架吧!

扯了这么多,好像没多少有用的东西额,那就不扯啦!

知识点扩展:

爬虫基本原理

爬虫是 模拟用户在浏览器或者App应用上的操作,把操作的过程、实现自动化的程序

当我们在浏览器中输入一个url后回车,后台会发生什么?比如说你输入https://www.baidu.com

简单来说这段过程发生了以下四个步骤:

  1. 查找域名对应的IP地址。
  2. 浏览器首先访问的是DNS(Domain Name System,域名系统),dns的主要工作就是把域名转换成相应的IP地址向IP对应的服务器发送请求。
  3. 服务器响应请求,发回网页内容。
  4. 浏览器显示网页内容。

网络爬虫要做的,简单来说,就是实现浏览器的功能。通过指定url,直接返回给用户所需要的数据, 而不需要一步步人工去操纵浏览器获取。

到此这篇关于python爬虫基础知识点整理的文章就介绍到这了,更多相关Python2爬虫入门内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python使用CMD模块更优雅的运行脚本
May 11 Python
Windows下安装python MySQLdb遇到的问题及解决方法
Mar 16 Python
python实现简单点对点(p2p)聊天
Sep 13 Python
利用Python如何生成hash值示例详解
Dec 20 Python
使用python装饰器计算函数运行时间的实例
Apr 21 Python
python实现类之间的方法互相调用
Apr 29 Python
python中sys.argv函数精简概括
Jul 08 Python
python批量修改图片后缀的方法(png到jpg)
Oct 25 Python
python实现指定字符串补全空格、前面填充0的方法
Nov 16 Python
Python基于Opencv来快速实现人脸识别过程详解(完整版)
Jul 11 Python
Python批量启动多线程代码实例
Feb 18 Python
python+django+selenium搭建简易自动化测试
Aug 19 Python
如何理解python面向对象编程
Jun 01 #Python
Python CSS选择器爬取京东网商品信息过程解析
Jun 01 #Python
matlab、python中矩阵的互相导入导出方式
Jun 01 #Python
如何理解Python中的变量
Jun 01 #Python
pycharm实现print输出保存到txt文件
Jun 01 #Python
Python如何爬取qq音乐歌词到本地
Jun 01 #Python
pycharm sciview的图片另存为操作
Jun 01 #Python
You might like
phpmyadmin中配置文件现在需要绝密的短语密码的解决方法
2007/02/11 PHP
PHP中实现获取IP和地理位置类分享
2015/02/10 PHP
Jquery在指定DIV加载HTML示例代码
2014/02/17 Javascript
深入分析js的冒泡事件
2014/12/05 Javascript
兼容Firefox的Javascript XSLT 处理XML文件
2014/12/31 Javascript
jQuery中find()方法用法实例
2015/01/07 Javascript
JavaScript设计模式经典之命令模式
2016/02/24 Javascript
jQuery 实时保存页面动态添加的数据的示例
2017/08/14 jQuery
分分钟学会vue中vuex的应用(入门教程)
2017/09/14 Javascript
浅谈vue中慎用style的scoped属性
2017/11/28 Javascript
详解vue.js数据传递以及数据分发slot
2018/01/20 Javascript
webpack将js打包后的map文件详解
2018/02/22 Javascript
vue-cli中的babel配置文件.babelrc实例详解
2018/02/22 Javascript
vue中vee validate表单校验的几种基本使用
2018/06/25 Javascript
vue 界面刷新数据被清除 localStorage的使用详解
2018/09/16 Javascript
浅谈vuex为什么不建议在action中修改state
2020/02/02 Javascript
Vue CLI3移动端适配(px2rem或postcss-plugin-px2rem)
2020/04/27 Javascript
Vue3 的响应式和以前有什么区别,Proxy 无敌?
2020/05/20 Javascript
浅谈python 导入模块和解决文件句柄找不到问题
2018/12/15 Python
浅谈python编译pyc工程--导包问题解决
2019/03/20 Python
Python常见数据类型转换操作示例
2019/05/08 Python
Python倒排索引之查找包含某主题或单词的文件
2019/11/13 Python
浅析python中while循环和for循环
2019/11/19 Python
django 解决自定义序列化返回处理数据为null的问题
2020/05/20 Python
Python网页解析器使用实例详解
2020/05/30 Python
python使用Windows的wmic命令监控文件运行状况,如有异常发送邮件报警
2021/01/30 Python
详解HTML5.2版本带来的修改
2020/05/06 HTML / CSS
打造高效课堂实施方案
2014/03/22 职场文书
关于教师节的广播稿
2014/09/10 职场文书
学校群众路线专项整治方案
2014/10/31 职场文书
2014年保洁工作总结
2014/11/24 职场文书
安全生产先进个人总结
2015/02/15 职场文书
装饰施工员岗位职责
2015/04/11 职场文书
医院病假条范文
2015/08/17 职场文书
python开发实时可视化仪表盘的示例
2021/05/07 Python
代码解析React中setState同步和异步问题
2021/06/03 Javascript