Python 爬虫的原理


Posted in Python onJuly 30, 2020

爬虫就是请求网站并提取数据的自动化程序。其中请求,提取,自动化是爬虫的关键!下面我们分析爬虫的基本流程

爬虫的基本流程

发起请求

通过HTTP库向目标站点发起请求,也就是发送一个Request,请求可以包含额外的header等信息,等待服务器响应

获取响应内容

如果服务器能正常响应,会得到一个Response,Response的内容便是所要获取的页面内容,类型可能是HTML,Json字符串,二进制数据(图片或者视频)等类型

解析内容

得到的内容可能是HTML,可以用正则表达式,页面解析库进行解析,可能是Json,可以直接转换为Json对象解析,可能是二进制数据,可以做保存或者进一步的处理

保存数据

保存形式多样,可以存为文本,也可以保存到数据库,或者保存特定格式的文件

什么是Request,Response

浏览器发送消息给网址所在的服务器,这个过程就叫做HTPP Request

服务器收到浏览器发送的消息后,能够根据浏览器发送消息的内容,做相应的处理,然后把消息回传给浏览器,这个过程就是HTTP Response

浏览器收到服务器的Response信息后,会对信息进行相应的处理,然后展示

Request中包含什么?
请求方式

主要有:GET/POST两种类型常用,另外还有HEAD/PUT/DELETE/OPTIONS
GET和POST的区别就是:请求的数据GET是在url中,POST则是存放在头部

GET:向指定的资源发出“显示”请求。使用GET方法应该只用在读取数据,而不应当被用于产生“副作用”的操作中,例如在Web Application中。其中一个原因是GET可能会被网络蜘蛛等随意访问

POST:向指定资源提交数据,请求服务器进行处理(例如提交表单或者上传文件)。数据被包含在请求本文中。这个请求可能会创建新的资源或修改现有资源,或二者皆有。

HEAD:与GET方法一样,都是向服务器发出指定资源的请求。只不过服务器将不传回资源的本文部分。它的好处在于,使用这个方法可以在不必传输全部内容的情况下,就可以获取其中“关于该资源的信息”(元信息或称元数据)。

PUT:向指定资源位置上传其最新内容。

OPTIONS:这个方法可使服务器传回该资源所支持的所有HTTP请求方法。用'*'来代替资源名称,向Web服务器发送OPTIONS请求,可以测试服务器功能是否正常运作。

DELETE:请求服务器删除Request-URI所标识的资源。

请求URL

URL,即统一资源定位符,也就是我们说的网址,统一资源定位符是对可以从互联网上得到的资源的位置和访问方法的一种简洁的表示,是互联网上标准资源的地址。互联网上的每个文件都有一个唯一的URL,它包含的信息指出文件的位置以及浏览器应该怎么处理它。

URL的格式由三个部分组成:

  • 第一部分是协议(或称为服务方式)。
  • 第二部分是存有该资源的主机IP地址(有时也包括端口号)。
  • 第三部分是主机资源的具体地址,如目录和文件名等。

爬虫爬取数据时必须要有一个目标的URL才可以获取数据,因此,它是爬虫获取数据的基本依据。

请求头

包含请求时的头部信息,如User-Agent,Host,Cookies等信息,下图是请求请求百度时,所有的请求头部信息参数

Python 爬虫的原理

请求体

请求是携带的数据,如提交表单数据时候的表单数据(POST)

Response中包含了什么

所有HTTP响应的第一行都是状态行,依次是当前HTTP版本号,3位数字组成的状态代码,以及描述状态的短语,彼此由空格分隔。

响应状态

有多种响应状态,如:200代表成功,301跳转,404找不到页面,502服务器错误

  • 1xx消息——请求已被服务器接收,继续处理
  • 2xx成功——请求已成功被服务器接收、理解、并接受
  • 3xx重定向——需要后续操作才能完成这一请求
  • 4xx请求错误——请求含有词法错误或者无法被执行
  • 5xx服务器错误——服务器在处理某个正确请求时发生错误 常见代码: 200 OK 请求成功 400 Bad Request 客户端请求有语法错误,不能被服务器所理解 401 Unauthorized 请求未经授权,这个状态代码必须和WWW-Authenticate报头域一起使用 403 Forbidden 服务器收到请求,但是拒绝提供服务 404 Not Found 请求资源不存在,eg:输入了错误的URL 500 Internal Server Error 服务器发生不可预期的错误 503 Server Unavailable 服务器当前不能处理客户端的请求,一段时间后可能恢复正常 301 目标永久性转移 302 目标暂时性转移

响应头

如内容类型,类型的长度,服务器信息,设置Cookie,如下图

Python 爬虫的原理

响应体

最主要的部分,包含请求资源的内容,如网页HTMl,图片,二进制数据等

能爬取什么样的数据

网页文本:如HTML文档,Json格式化文本等
图片:获取到的是二进制文件,保存为图片格式
视频:同样是二进制文件
其他:只要请求到的,都可以获取

如何解析数据

  1. 直接处理
  2. Json解析
  3. 正则表达式处理
  4. BeautifulSoup解析处理
  5. PyQuery解析处理
  6. XPath解析处理

关于抓取的页面数据和浏览器里看到的不一样的问题

出现这种情况是因为,很多网站中的数据都是通过js,ajax动态加载的,所以直接通过get请求获取的页面和浏览器显示的不同。

如何解决js渲染的问题?

  • 分析ajax
  • Selenium/webdriver
  • Splash
  • PyV8,Ghost.py

怎样保存数据

文本:纯文本,Json,Xml等

关系型数据库:如mysql,oracle,sql server等结构化数据库

非关系型数据库:MongoDB,Redis等key-value形式存储

以上就是Python 爬虫的原理的详细内容,更多关于Python爬虫的原理的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
用C++封装MySQL的API的教程
May 06 Python
Python字符和字符值(ASCII或Unicode码值)转换方法
May 21 Python
Python内建数据结构详解
Feb 03 Python
快速入门python学习笔记
Dec 06 Python
jupyter notebook引用from pyecharts.charts import Bar运行报错
Apr 23 Python
Python实现简单的文本相似度分析操作详解
Jun 16 Python
Python利用itchat库向好友或者公众号发消息的实例
Feb 21 Python
详解Python并发编程之从性能角度来初探并发编程
Aug 23 Python
python with (as)语句实例详解
Feb 04 Python
pandas使用之宽表变窄表的实现
Apr 12 Python
python使用matplotlib的savefig保存时图片保存不完整的问题
Jan 08 Python
详解Python内置模块Collections
Mar 22 Python
Python爬虫与反爬虫大战
Jul 30 #Python
Python如何将装饰器定义为类
Jul 30 #Python
python实现mask矩阵示例(根据列表所给元素)
Jul 30 #Python
Python3爬虫发送请求的知识点实例
Jul 30 #Python
详解Python 最短匹配模式
Jul 29 #Python
Python如何给你的程序做性能测试
Jul 29 #Python
Python3爬虫中关于中文分词的详解
Jul 29 #Python
You might like
深入file_get_contents与curl函数的详解
2013/06/25 PHP
推荐一款MAC OS X 下php集成开发环境mamp
2014/11/08 PHP
php中JSON的使用方法
2015/04/30 PHP
深入理解PHP原理之执行周期分析
2016/06/01 PHP
[原创]网络复制内容时常用的正则+editplus
2006/11/30 Javascript
JavaScript入门教程(10) 认识其他对象
2009/01/31 Javascript
可以用来调试JavaScript错误的解决方案
2010/08/07 Javascript
javascript 折半查找字符在数组中的位置(有序列表)
2010/12/09 Javascript
JavaScript实现两个Table固定表头根据页面大小自行调整
2014/01/03 Javascript
使用Plupload实现直接上传附件至七牛云存储
2014/12/26 Javascript
JavaScript生成二维码图片小结
2015/12/27 Javascript
Jquery插件仿百度搜索关键字自动匹配功能
2016/05/11 Javascript
详解JavaScript中|单竖杠运算符的使用方法
2016/05/23 Javascript
基于jQuery实现歌词滚动版音乐播放器的代码
2016/09/17 Javascript
关于Vue.js一些问题和思考学习笔记(2)
2016/12/02 Javascript
react-router实现跳转传值的方法示例
2017/05/27 Javascript
JS对象和字符串之间互换操作实例分析
2019/02/02 Javascript
微信小程序学习笔记之表单提交与PHP后台数据交互处理图文详解
2019/03/28 Javascript
js实现页面多个日期时间倒计时效果
2019/06/20 Javascript
Element 默认勾选表格 toggleRowSelection的实现
2019/09/04 Javascript
selenium+java中用js来完成日期的修改
2019/10/31 Javascript
JS实现关闭小广告特效
2021/01/29 Javascript
[57:47]Fnatic vs Winstrike 2018国际邀请赛小组赛BO2 第二场 8.18
2018/08/19 DOTA
python字典键值对的添加和遍历方法
2016/09/11 Python
python嵌套字典比较值与取值的实现示例
2017/11/03 Python
python判断一个集合是否为另一个集合的子集方法
2018/05/04 Python
Python如何把Spark数据写入ElasticSearch
2020/04/18 Python
Python基于smtplib模块发送邮件代码实例
2020/05/29 Python
手摸手教你用canvas实现给图片添加平铺水印的实现
2019/08/20 HTML / CSS
英国家喻户晓的折扣商场:TK Maxx
2017/05/26 全球购物
学前教育毕业生自荐信范文
2013/12/24 职场文书
2014年电厂工作总结
2014/12/04 职场文书
2014年体育教学工作总结
2014/12/09 职场文书
个人事迹材料怎么写
2014/12/30 职场文书
离婚承诺书格式范文
2015/05/04 职场文书
导师鉴定意见
2015/06/05 职场文书