python爬虫的工作原理


Posted in Python onMarch 05, 2017

1.爬虫的工作原理

网络爬虫,即Web Spider,是一个很形象的名字。把互联网比喻成一个蜘蛛网,那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛是通过网页的链接地址来寻找网页的。从网站某一个页面(通常是首页)开始,读取网页的内容,找到在网页中的其它链接地址,然后通过这些链接地址寻找下一个网页,这样一直循环下去,直到把这个网站所有的网页都抓取完为止。如果把整个互联网当成一个网站,那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。这样看来,网络爬虫就是一个爬行程序,一个抓取网页的程序。网络爬虫的基本操作是抓取网页。那么如何才能随心所欲地获得自己想要的页面?先从URL开始。

抓取网页的过程其实和读者平时使用IE浏览器浏览网页的道理是一样的。比如说你在浏览器的地址栏中输入www.baidu.com这个地址。打开网页的过程其实就是浏览器作为一个浏览的“客户端”,向服务器端发送了 一次请求,把服务器端的文件“抓”到本地,再进行解释、展现。HTML是一种标记语言,用标签标记内容并加以解析和区分。浏览器的功能是将获取到的HTML代码进行解析,然后将原始的代码转变成我们直接看到的网站页面。

简单的来讲,URL就是在浏览器端输入的http://www.baidu.com这个字符串。在理解URL之前,首先要理解URI的概念。

什么是URI?

Web上每种可用的资源,如 HTML文档、图像、视频片段、程序等都由一个通用资源标志符(Universal Resource Identifier, URI)进行定位。

URI通常由三部分组成:

  • 访问资源的命名机制;
  • 存放资源的主机名;
  • 资源自身 的名称,由路径表示。

如下面的URI:http://www.why.com.cn/myhtml/html1223/

  • 这是一个可以通过HTTP协议访问的资源,
  • 位于主机 www.webmonkey.com.cn上,
  • 通过路径“/html/html40”访问。 

2.  URL的理解和举例

URL是URI的一个子集。它是Uniform Resource Locator的缩写,译为“统一资源定位 符”。通俗地说,URL是Internet上描述信息资源的字符串,主要用在各种WWW客户程序和服务器程序上。采用URL可以用一种统一的格式来描述各种信息资源,包括文件、服务器的地址和目录等。URL的一般格式为(带方括号[]的为可选项):

protocol :// hostname[:port] / path / [;parameters][?query]#fragment

URL的格式由三部分组成:

  • 第一部分是协议(或称为服务方式)。
  • 第二部分是存有该资源的主机IP地址(有时也包括端口号)。
  • 第三部分是主机资源的具体地址,如目录和文件名等。

第一部分和第二部分用“://”符号隔开,第二部分和第三部分用“/”符号隔开。第一部分和第二部分是不可缺少的,第三部分有时可以省略。

3、URL和URI简单比较

URI属于URL更低层次的抽象,一种字符串文本标准。换句话说,URI属于父类,而URL属于URI的子类。URL是URI的一个子集。URI的定义是:统一资源标识符;URL的定义是:统一资源定位符。二者的区别在于,URI表示请求服务器的路径,定义这么一个资源。而URL同时说明要如何访问这个资源(http://)。

下面来看看两个URL的小例子。

 1.HTTP协议的URL示例:

使用超级文本传输协议HTTP,提供超级文本信息服务的资源。

例:http://www.peopledaily.com.cn/channel/welcome.htm

其计算机域名为www.peopledaily.com.cn。

超级文本文件(文件类型为.html)是在目录 /channel下的welcome.htm。

这是中国人民日报的一台计算机。

例:http://www.rol.cn.NET/talk/talk1.htm

其计算机域名为www.rol.cn.Net。

超级文本文件(文件类型为.html)是在目录/talk下的talk1.htm。

这是瑞得聊天室的地址,可由此进入瑞得聊天室的第1室。

2.文件的URL

用URL表示文件时,服务器方式用file表示,后面要有主机IP地址、文件的存取路 径(即目录)和文件名等信息。

有时可以省略目录和文件名,但“/”符号不能省略。

例:file://ftp.yoyodyne.com/pub/files/foobar.txt

上面这个URL代表存放在主机ftp.yoyodyne.com上的pub/files/目录下的一个文件,文件名是foobar.txt。

例:file://ftp.yoyodyne.com/pub

代表主机ftp.yoyodyne.com上的目录/pub。

例:file://ftp.yoyodyne.com/

代表主机ftp.yoyodyne.com的根目录。

爬虫最主要的处理对象就是URL,它根据URL地址取得所需要的文件内容,然后对它 进行进一步的处理。

因此,准确地理解URL对理解网络爬虫至关重要。

以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,同时也希望多多支持三水点靠木!

Python 相关文章推荐
python用reduce和map把字符串转为数字的方法
Dec 19 Python
python如何生成网页验证码
Jul 28 Python
Matplotlib中文乱码的3种解决方案
Nov 15 Python
python三引号输出方法
Feb 27 Python
python使用mitmproxy抓取浏览器请求的方法
Jul 02 Python
python3.x提取中文的正则表达式示例代码
Jul 23 Python
Python3网络爬虫开发实战之极验滑动验证码的识别
Aug 02 Python
python不使用for计算两组、多个矩形两两间的iou方式
Jan 18 Python
Python中logging日志库实例详解
Feb 19 Python
python如何判断IP地址合法性
Apr 05 Python
Python实现代码块儿折叠
Apr 15 Python
使用Python实现NBA球员数据查询小程序功能
Nov 09 Python
python操作mysql数据库
Mar 05 #Python
Windows安装Python、pip、easy_install的方法
Mar 05 #Python
python入门教程之识别验证码
Mar 04 #Python
python 链接和操作 memcache方法
Mar 04 #Python
快速实现基于Python的微信聊天机器人示例代码
Mar 03 #Python
Python实现在线音乐播放器
Mar 03 #Python
python开发简易版在线音乐播放器
Mar 03 #Python
You might like
php ignore_user_abort与register_shutdown_function 使用方法
2009/06/14 PHP
PHP isset()与empty()的使用区别详解
2010/08/29 PHP
php中显示数组与对象的实现代码
2011/04/18 PHP
很全的显示阴历(农历)日期的js代码
2009/01/01 Javascript
跟我学习javascript的undefined与null
2015/11/17 Javascript
基于JavaScript实现鼠标悬浮弹出跟随鼠标移动的带箭头的信息层
2016/01/18 Javascript
jquery自动补齐功能插件flexselect用法示例
2016/08/06 Javascript
JavaScript制作颜色反转小游戏
2016/09/25 Javascript
jQuery自定义插件详解及实例代码
2016/12/29 Javascript
Node.js v8.0.0正式发布!看看带来了哪些主要新特性
2017/06/02 Javascript
在一个页面实现两个zTree联动的方法
2017/12/20 Javascript
jquery-ui 进度条功能示例【测试可用】
2019/07/25 jQuery
Angular8路由守卫原理和使用方法
2019/08/29 Javascript
react用Redux中央仓库实现一个todolist
2019/09/29 Javascript
JS 数组和对象的深拷贝操作示例
2020/06/06 Javascript
javascript实现京东登录显示隐藏密码
2020/08/02 Javascript
[49:08]FNATIC vs Infamous 2019国际邀请赛小组赛 BO2 第二场 8.16
2019/08/18 DOTA
[01:36:17]DOTA2-DPC中国联赛 正赛 Ehome vs iG BO3 第一场 1月31日
2021/03/11 DOTA
python实现自动网页截图并裁剪图片
2018/07/30 Python
对Python w和w+权限的区别详解
2019/01/23 Python
Flask框架学习笔记之模板操作实例详解
2019/08/15 Python
Python文件操作方法详解
2020/02/09 Python
Python捕获异常堆栈信息的几种方法(小结)
2020/05/18 Python
Python3 pywin32模块安装的详细步骤
2020/05/26 Python
python时间序列数据转为timestamp格式的方法
2020/08/03 Python
Python中logging日志记录到文件及自动分割的操作代码
2020/08/05 Python
浅谈pc和移动端的响应式的使用
2019/01/03 HTML / CSS
详解Canvas实用库Fabric.js使用手册
2019/01/07 HTML / CSS
家得宝加拿大家装网上商店:The Home Depot加拿大
2016/08/27 全球购物
车库门开启器、遥控器和零件:Chamberlain
2019/04/09 全球购物
安全责任书范本
2014/04/15 职场文书
清明节网上祭英烈活动总结
2014/04/30 职场文书
中专毕业生的自荐书
2014/07/01 职场文书
成绩报告单家长评语
2014/12/30 职场文书
董事长助理工作总结2015
2015/07/23 职场文书
个人工作决心书
2015/09/22 职场文书