零基础写python爬虫之爬虫的定义及URL构成


Posted in Python onNovember 04, 2014

一、网络爬虫的定义

网络爬虫,即Web Spider,是一个很形象的名字。
把互联网比喻成一个蜘蛛网,那么Spider就是在网上爬来爬去的蜘蛛。
网络蜘蛛是通过网页的链接地址来寻找网页的。
从网站某一个页面(通常是首页)开始,读取网页的内容,找到在网页中的其它链接地址,
然后通过这些链接地址寻找下一个网页,这样一直循环下去,直到把这个网站所有的网页都抓取完为止。
如果把整个互联网当成一个网站,那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。
这样看来,网络爬虫就是一个爬行程序,一个抓取网页的程序。
网络爬虫的基本操作是抓取网页。
那么如何才能随心所欲地获得自己想要的页面?
我们先从URL开始。

二、浏览网页的过程

抓取网页的过程其实和读者平时使用IE浏览器浏览网页的道理是一样的。
比如说你在浏览器的地址栏中输入    www.baidu.com    这个地址。
打开网页的过程其实就是浏览器作为一个浏览的“客户端”,向服务器端发送了 一次请求,把服务器端的文件“抓”到本地,再进行解释、展现。
HTML是一种标记语言,用标签标记内容并加以解析和区分。
浏览器的功能是将获取到的HTML代码进行解析,然后将原始的代码转变成我们直接看到的网站页面。

三、URI和URL的概念和举例

简单的来讲,URL就是在浏览器端输入的    http://www.baidu.com    这个字符串。
在理解URL之前,首先要理解URI的概念。
什么是URI?
Web上每种可用的资源,如 HTML文档、图像、视频片段、程序等都由一个通用资源标志符(Universal Resource Identifier, URI)进行定位。
URI通常由三部分组成:
①访问资源的命名机制;
②存放资源的主机名;
③资源自身 的名称,由路径表示。
如下面的URI:
http://www.why.com.cn/myhtml/html1223/
我们可以这样解释它:
①这是一个可以通过HTTP协议访问的资源,
②位于主机 www.webmonkey.com.cn上,
③通过路径“/html/html40”访问。

四、URL的理解和举例

URL是URI的一个子集。它是Uniform Resource Locator的缩写,译为“统一资源定位 符”。
通俗地说,URL是Internet上描述信息资源的字符串,主要用在各种WWW客户程序和服务器程序上。
采用URL可以用一种统一的格式来描述各种信息资源,包括文件、服务器的地址和目录等。
URL的一般格式为(带方括号[]的为可选项):
protocol :// hostname[:port] / path / [;parameters][?query]#fragment

URL的格式由三部分组成:
①第一部分是协议(或称为服务方式)。
②第二部分是存有该资源的主机IP地址(有时也包括端口号)。
③第三部分是主机资源的具体地址,如目录和文件名等。
第一部分和第二部分用“://”符号隔开,
第二部分和第三部分用“/”符号隔开。
第一部分和第二部分是不可缺少的,第三部分有时可以省略。

五、URL和URI简单比较

URI属于URL更低层次的抽象,一种字符串文本标准。
换句话说,URI属于父类,而URL属于URI的子类。URL是URI的一个子集。
URI的定义是:统一资源标识符;
URL的定义是:统一资源定位符。
二者的区别在于,URI表示请求服务器的路径,定义这么一个资源。
而URL同时说明要如何访问这个资源(http://)。

下面来看看两个URL的小例子。

1.HTTP协议的URL示例:
使用超级文本传输协议HTTP,提供超级文本信息服务的资源。
例:http://www.peopledaily.com.cn/channel/welcome.htm
其计算机域名为www.peopledaily.com.cn。
超级文本文件(文件类型为.html)是在目录 /channel下的welcome.htm。
这是中国人民日报的一台计算机。
例:http://www.rol.cn.net/talk/talk1.htm
其计算机域名为www.rol.cn.net。
超级文本文件(文件类型为.html)是在目录/talk下的talk1.htm。
这是瑞得聊天室的地址,可由此进入瑞得聊天室的第1室。

2.文件的URL
用URL表示文件时,服务器方式用file表示,后面要有主机IP地址、文件的存取路 径(即目录)和文件名等信息。
有时可以省略目录和文件名,但“/”符号不能省略。
例:file://ftp.yoyodyne.com/pub/files/foobar.txt
上面这个URL代表存放在主机ftp.yoyodyne.com上的pub/files/目录下的一个文件,文件名是foobar.txt。
例:file://ftp.yoyodyne.com/pub
代表主机ftp.yoyodyne.com上的目录/pub。
例:file://ftp.yoyodyne.com/
代表主机ftp.yoyodyne.com的根目录。

爬虫最主要的处理对象就是URL,它根据URL地址取得所需要的文件内容,然后对它 进行进一步的处理。
因此,准确地理解URL对理解网络爬虫至关重要。

好了,基础知识就先介绍到这里,接下来我们来进行点实际的爬虫操作

Python 相关文章推荐
Python def函数的定义、使用及参数传递实现代码
Aug 10 Python
Python标准库之循环器(itertools)介绍
Nov 25 Python
python执行外部程序的常用方法小结
Mar 21 Python
Python2.x版本中基本的中文编码问题解决
Oct 12 Python
R vs. Python 数据分析中谁与争锋?
Oct 18 Python
批量将ppt转换为pdf的Python代码 只要27行!
Feb 26 Python
python在每个字符后添加空格的实例
May 07 Python
Python实现将多个空格换为一个空格.md的方法
Dec 20 Python
pandas分区间,算频率的实例
Jul 04 Python
深入了解Django中间件及其方法
Jul 26 Python
python实现跨excel sheet复制代码实例
Mar 03 Python
Matplotlib配色之Colormap详解
Jan 05 Python
使用Python编写简单网络爬虫抓取视频下载资源
Nov 04 #Python
Python爬取Coursera课程资源的详细过程
Nov 04 #Python
使用python开发vim插件及心得分享
Nov 04 #Python
Python学习笔记之os模块使用总结
Nov 03 #Python
Python中获取网页状态码的两个方法
Nov 03 #Python
Python random模块常用方法
Nov 03 #Python
Python求两个list的差集、交集与并集的方法
Nov 01 #Python
You might like
php中http_build_query 的一个问题
2012/03/25 PHP
PHP闭包函数传参及使用外部变量的方法
2016/03/15 PHP
PHP正则表达式入门教程(推荐)
2016/05/18 PHP
thinkPHP统计排行与分页显示功能示例
2016/12/02 PHP
浅析PHP数据导出知识点
2018/02/17 PHP
PHP架构及原理知识点详解
2019/12/22 PHP
boxy基于jquery的弹出层对话框插件扩展应用 弹出层选择器
2010/11/21 Javascript
JQuery 应用 JQuery.groupTable.js
2010/12/15 Javascript
jQuery总体架构的理解分析
2011/03/07 Javascript
解决node-webkit 不支持html5播放mp4视频的方法
2015/03/11 Javascript
详解JavaScript ES6中的模板字符串
2015/07/28 Javascript
javascript实现Email邮件显示与删除功能
2015/11/21 Javascript
原生JS实现在线问卷调查投票特效
2017/01/03 Javascript
jQuery Datatables表头不对齐的解决办法
2017/11/27 jQuery
关于vue中 $emit的用法详解
2018/04/12 Javascript
JS实现前端页面的搜索功能
2018/06/12 Javascript
vue通过style或者class改变样式的实例代码
2018/10/30 Javascript
详解Vue组件之间通信的七种方式
2019/04/14 Javascript
小程序中英文混合排序问题解决
2019/08/02 Javascript
JavaScript异步操作的几种常见处理方法实例总结
2020/05/11 Javascript
Python Web框架Flask中使用百度云存储BCS实例
2015/02/08 Python
详解Python字符串对象的实现
2015/12/24 Python
Python应用03 使用PyQT制作视频播放器实例
2016/12/07 Python
Python基础知识_浅谈用户交互
2017/05/31 Python
Python实现多并发访问网站功能示例
2017/06/19 Python
Python使用matplotlib绘图无法显示中文问题的解决方法
2018/03/14 Python
如何爬取通过ajax加载数据的网站
2019/08/15 Python
Pytorch抽取网络层的Feature Map(Vgg)实例
2019/08/20 Python
python+Django实现防止SQL注入的办法
2019/10/31 Python
Django实现简单网页弹出警告代码
2019/11/15 Python
python自动化实现登录获取图片验证码功能
2019/11/20 Python
HTML5 画布canvas使用方法
2016/03/18 HTML / CSS
HTML5触摸事件实现移动端简易进度条的实现方法
2018/05/04 HTML / CSS
雷朋巴西官方商店:Ray-Ban Brasil
2020/07/21 全球购物
毕业生个人的自我评价优秀范文
2013/10/03 职场文书
党员自我评议个人对照检查材料
2014/09/16 职场文书