Python爬虫基础之爬虫的分类知识总结


Posted in Python onMay 13, 2021

一、通用爬虫

通用网络爬虫是搜索引擎抓取系统(Baidu、Google、Sogou等)的一个重要组成部分。主要目的是将互联网上的网页下载到本地,形成一个互联网内容的镜像备份。为搜索引擎提供搜索支持。

Python爬虫基础之爬虫的分类知识总结

第一步

搜索引擎去成千上万个网站抓取数据。

第二步

搜索引擎通过爬虫爬取到的网页,将数据存入原始页面数据库(也就是文档库)。其中的页面数据与用户浏览器得到的HTML是完全—样的。

第三步

搜索引擎将爬虫抓取回来的页面,进行各种步骤的预处理:中文分词,消除噪音,索引处理。。。
搜索引擎在对信息进行组织和处理后,为用户提供关键字检索服务,将用户检索相关的信息展示给用户。展示的时候会进行排名。

二、搜索引擎的局限性

  • 搜索引擎抓取的是整个网页,不是具体详细的信息。
  • 搜索引擎无法提供针对具体某个客户需求的搜索结果。

聚焦爬虫

针对通用爬虫的这些情况,聚焦爬虫技术得以广泛使用。聚焦爬虫,是"面向特定主题需求"的一种网络爬虫程序,它与通用搜索引擎爬虫的区别在于:聚焦爬虫在实施网页抓取时会对内容进行处理筛选,尽量保证只抓取与需求相关的网页数据。

三、Robots协议

robots是网站跟爬虫间的协议,用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限,也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。——百度百科

Robots协议也叫爬虫协议、机器人协议等,全称是“网络爬虫排除标准”(Robots ExclusionProtocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取,例如:

淘宝: https://www.taobao.com/robots.txt
百度: https://www.baidu.com/robots.txt

四、请求与相应

网络通信由两部分组成:客户端请求消息服务器响应消息

Python爬虫基础之爬虫的分类知识总结

浏览器发送HTTP请求的过程:

Python爬虫基础之爬虫的分类知识总结

1.当我们在浏览器输入URL https://www.baidu.com的时候,浏览器发送一个Request请求去
获取 https://www.baidu.com 的html文件,服务器把Response文件对象发送回给浏览器。

2.浏览器分析Response中的HTML,发现其中引用了很多其他文件,比如Images文件,CSS文件,JS文件。浏览器会自动再次发送Request去获取图片,CSS文件,或者JS文件。

3.当所有的文件都下载成功后,网页会根据HTML语法结构,完整的显示出来了。

实际上我们通过学习爬虫技术爬取数据,也是向服务器请求数据,获取服务器响应数据的过程。

到此这篇关于Python爬虫基础之爬虫的分类知识总结的文章就介绍到这了,更多相关Python爬虫的分类内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python人人网登录应用实例
Sep 26 Python
Python入门篇之文件
Oct 20 Python
Python每天必学之bytes字节
Jan 28 Python
Python3实现发送QQ邮件功能(附件)
Dec 23 Python
Python爬虫天气预报实例详解(小白入门)
Jan 24 Python
Python面向对象封装操作案例详解 II
Jan 02 Python
python实现遍历文件夹图片并重命名
Mar 23 Python
pytorch 常用函数 max ,eq说明
Jun 28 Python
Django返回HTML文件的实现方法
Sep 17 Python
Python 删除List元素的三种方法remove、pop、del
Nov 16 Python
Python用户自定义异常的实现
Dec 25 Python
python中os.path.join()函数实例用法
May 26 Python
pytorch中的numel函数用法说明
May 13 #Python
pytorch损失反向传播后梯度为none的问题
如何使用Python实现一个简易的ORM模型
May 12 #Python
用python删除文件夹中的重复图片(图片去重)
May 12 #Python
Pyhton模块和包相关知识总结
python 下划线的多种应用场景总结
May 12 #Python
超级详细实用的pycharm常用快捷键
You might like
给多个地址发邮件的类
2006/10/09 PHP
PHP中基本HTTP认证技巧分析
2015/03/16 PHP
php使用ob_flush不能每隔一秒输出原理分析
2015/06/02 PHP
redis+php实现微博(二)发布与关注功能详解
2019/09/23 PHP
js 方法实现返回多个数据的代码
2009/04/30 Javascript
flexigrid 类似ext grid的JS表格代码
2010/07/17 Javascript
JS阻止冒泡事件以及默认事件发生的简单方法
2014/01/17 Javascript
JavaScript避免代码的重复执行经验技巧分享
2014/04/17 Javascript
jQuery()方法的第二个参数详解
2015/04/29 Javascript
实现音乐播放器的代码(html5+css3+jquery)
2015/08/04 Javascript
基于jquery实现放大镜效果
2015/08/17 Javascript
js实现一键复制功能
2017/03/16 Javascript
JavaScript设计模式之调停者模式实例详解
2018/02/03 Javascript
layui结合form,table的全选、反选v1.0示例讲解
2018/08/15 Javascript
小程序实现多列选择器
2019/02/15 Javascript
微信小程序自定义组件实现环形进度条
2020/11/17 Javascript
vue项目从node8.x升级到12.x后的问题解决
2019/10/25 Javascript
nuxt引入组件和公共样式的操作
2020/11/05 Javascript
python判断设备是否联网的方法
2018/06/29 Python
python利用百度AI实现文字识别功能
2018/11/27 Python
使用Python 正则匹配两个特定字符之间的字符方法
2018/12/24 Python
浅谈Scrapy网络爬虫框架的工作原理和数据采集
2019/02/07 Python
numpy库与pandas库axis=0,axis= 1轴的用法详解
2019/05/27 Python
在Pandas中处理NaN值的方法
2019/06/25 Python
Python 等分切分数据及规则命名的实例代码
2019/08/16 Python
浅谈PyQt5中异步刷新UI和Python多线程总结
2019/12/13 Python
python redis存入字典序列化存储教程
2020/07/16 Python
Python Pivot table透视表使用方法解析
2020/09/11 Python
解决HTML5手机端页面缩放的问题
2017/10/27 HTML / CSS
Kipling凯浦林美国官网:世界著名时尚休闲包袋品牌
2016/08/24 全球购物
Lulu Guinness露露·吉尼斯官网:红唇包
2019/02/03 全球购物
酒店副总经理岗位职责范本
2014/02/04 职场文书
民族学专业职业生涯规划范文:积跬步以至千里
2014/09/11 职场文书
党支部评议意见
2015/06/02 职场文书
2015秋季开学典礼演讲稿
2015/07/16 职场文书
创业计划书之网吧
2019/10/10 职场文书