零基础写python爬虫之爬虫的定义及URL构成


Posted in Python onNovember 04, 2014

一、网络爬虫的定义

网络爬虫,即Web Spider,是一个很形象的名字。
把互联网比喻成一个蜘蛛网,那么Spider就是在网上爬来爬去的蜘蛛。
网络蜘蛛是通过网页的链接地址来寻找网页的。
从网站某一个页面(通常是首页)开始,读取网页的内容,找到在网页中的其它链接地址,
然后通过这些链接地址寻找下一个网页,这样一直循环下去,直到把这个网站所有的网页都抓取完为止。
如果把整个互联网当成一个网站,那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。
这样看来,网络爬虫就是一个爬行程序,一个抓取网页的程序。
网络爬虫的基本操作是抓取网页。
那么如何才能随心所欲地获得自己想要的页面?
我们先从URL开始。

二、浏览网页的过程

抓取网页的过程其实和读者平时使用IE浏览器浏览网页的道理是一样的。
比如说你在浏览器的地址栏中输入    www.baidu.com    这个地址。
打开网页的过程其实就是浏览器作为一个浏览的“客户端”,向服务器端发送了 一次请求,把服务器端的文件“抓”到本地,再进行解释、展现。
HTML是一种标记语言,用标签标记内容并加以解析和区分。
浏览器的功能是将获取到的HTML代码进行解析,然后将原始的代码转变成我们直接看到的网站页面。

三、URI和URL的概念和举例

简单的来讲,URL就是在浏览器端输入的    http://www.baidu.com    这个字符串。
在理解URL之前,首先要理解URI的概念。
什么是URI?
Web上每种可用的资源,如 HTML文档、图像、视频片段、程序等都由一个通用资源标志符(Universal Resource Identifier, URI)进行定位。
URI通常由三部分组成:
①访问资源的命名机制;
②存放资源的主机名;
③资源自身 的名称,由路径表示。
如下面的URI:
http://www.why.com.cn/myhtml/html1223/
我们可以这样解释它:
①这是一个可以通过HTTP协议访问的资源,
②位于主机 www.webmonkey.com.cn上,
③通过路径“/html/html40”访问。

四、URL的理解和举例

URL是URI的一个子集。它是Uniform Resource Locator的缩写,译为“统一资源定位 符”。
通俗地说,URL是Internet上描述信息资源的字符串,主要用在各种WWW客户程序和服务器程序上。
采用URL可以用一种统一的格式来描述各种信息资源,包括文件、服务器的地址和目录等。
URL的一般格式为(带方括号[]的为可选项):
protocol :// hostname[:port] / path / [;parameters][?query]#fragment

URL的格式由三部分组成:
①第一部分是协议(或称为服务方式)。
②第二部分是存有该资源的主机IP地址(有时也包括端口号)。
③第三部分是主机资源的具体地址,如目录和文件名等。
第一部分和第二部分用“://”符号隔开,
第二部分和第三部分用“/”符号隔开。
第一部分和第二部分是不可缺少的,第三部分有时可以省略。

五、URL和URI简单比较

URI属于URL更低层次的抽象,一种字符串文本标准。
换句话说,URI属于父类,而URL属于URI的子类。URL是URI的一个子集。
URI的定义是:统一资源标识符;
URL的定义是:统一资源定位符。
二者的区别在于,URI表示请求服务器的路径,定义这么一个资源。
而URL同时说明要如何访问这个资源(http://)。

下面来看看两个URL的小例子。

1.HTTP协议的URL示例:
使用超级文本传输协议HTTP,提供超级文本信息服务的资源。
例:http://www.peopledaily.com.cn/channel/welcome.htm
其计算机域名为www.peopledaily.com.cn。
超级文本文件(文件类型为.html)是在目录 /channel下的welcome.htm。
这是中国人民日报的一台计算机。
例:http://www.rol.cn.net/talk/talk1.htm
其计算机域名为www.rol.cn.net。
超级文本文件(文件类型为.html)是在目录/talk下的talk1.htm。
这是瑞得聊天室的地址,可由此进入瑞得聊天室的第1室。

2.文件的URL
用URL表示文件时,服务器方式用file表示,后面要有主机IP地址、文件的存取路 径(即目录)和文件名等信息。
有时可以省略目录和文件名,但“/”符号不能省略。
例:file://ftp.yoyodyne.com/pub/files/foobar.txt
上面这个URL代表存放在主机ftp.yoyodyne.com上的pub/files/目录下的一个文件,文件名是foobar.txt。
例:file://ftp.yoyodyne.com/pub
代表主机ftp.yoyodyne.com上的目录/pub。
例:file://ftp.yoyodyne.com/
代表主机ftp.yoyodyne.com的根目录。

爬虫最主要的处理对象就是URL,它根据URL地址取得所需要的文件内容,然后对它 进行进一步的处理。
因此,准确地理解URL对理解网络爬虫至关重要。

好了,基础知识就先介绍到这里,接下来我们来进行点实际的爬虫操作

Python 相关文章推荐
Python使用正则表达式过滤或替换HTML标签的方法详解
Sep 25 Python
Bottle框架中的装饰器类和描述符应用详解
Oct 28 Python
今天 平安夜 Python 送你一顶圣诞帽 @微信官方
Dec 25 Python
python字典快速保存于读取的方法
Mar 23 Python
Python DataFrame设置/更改列表字段/元素类型的方法
Jun 09 Python
python实现批量解析邮件并下载附件
Jun 19 Python
在python中实现将一张图片剪切成四份的方法
Dec 05 Python
pytorch 加载(.pth)格式的模型实例
Aug 20 Python
浅谈Django+Gunicorn+Nginx部署之路
Sep 11 Python
使用python-cv2实现视频的分解与合成的示例代码
Oct 26 Python
python Scrapy框架原理解析
Jan 04 Python
Python爬虫制作翻译程序的示例代码
Feb 22 Python
使用Python编写简单网络爬虫抓取视频下载资源
Nov 04 #Python
Python爬取Coursera课程资源的详细过程
Nov 04 #Python
使用python开发vim插件及心得分享
Nov 04 #Python
Python学习笔记之os模块使用总结
Nov 03 #Python
Python中获取网页状态码的两个方法
Nov 03 #Python
Python random模块常用方法
Nov 03 #Python
Python求两个list的差集、交集与并集的方法
Nov 01 #Python
You might like
PHP简洁函数(PHP简单明了函数语法)
2012/06/10 PHP
PHP+shell实现多线程的方法
2015/07/01 PHP
php基本函数汇总
2015/07/09 PHP
php利用ffmpeg提取视频中音频与视频画面的方法详解
2017/06/07 PHP
线路分流自动跳转代码;希望对大家有用!
2006/12/02 Javascript
ie中js创建checkbox默认选中问题探讨
2013/10/21 Javascript
使用CSS样式position:fixed水平滚动的方法
2014/02/19 Javascript
ExtJS4如何自动生成控制grid的列显示、隐藏的checkbox
2014/05/02 Javascript
Javascript毫秒数用法实例
2015/02/05 Javascript
jQuery插件formValidator自定义函数扩展功能实例详解
2015/11/25 Javascript
js运动事件函数详解
2016/10/21 Javascript
Angular 2父子组件数据传递之@Input和@Output详解 (上)
2017/07/05 Javascript
详解react-redux插件入门
2018/04/19 Javascript
JS实现HTML页面中动态显示当前时间完整示例
2018/07/30 Javascript
vue中beforeRouteLeave实现页面回退不刷新的示例代码
2019/11/01 Javascript
JavaScript eval()函数定义及使用方法详解
2020/07/07 Javascript
关于vue-cli3打包代码后白屏的解决方案
2020/09/02 Javascript
[03:02]2014DOTA2西雅图邀请赛 让队员自己告诉你DK NAVI备战情况
2014/07/08 DOTA
python删除指定类型(或非指定)的文件实例详解
2015/07/06 Python
详解Python nose单元测试框架的安装与使用
2017/12/20 Python
微信跳一跳python辅助脚本(总结)
2018/01/11 Python
Python实现的圆形绘制(画圆)示例
2018/01/31 Python
python操作xlsx文件的包openpyxl实例
2018/05/03 Python
Python在for循环中更改list值的方法【推荐】
2018/08/17 Python
几行Python代码爬取3000+上市公司的信息
2019/01/24 Python
如何实现Django Rest framework版本控制
2019/07/25 Python
python2和python3应该学哪个(python3.6与python3.7的选择)
2019/10/01 Python
python实现异常信息堆栈输出到日志文件
2019/12/26 Python
Python创建空列表的字典2种方法详解
2020/02/13 Python
python与c语言的语法有哪些不一样的
2020/09/13 Python
Django-Scrapy生成后端json接口的方法示例
2020/10/06 Python
中国跨境海淘网站:考拉海购
2016/08/01 全球购物
学生穿着不得体检讨书
2014/10/12 职场文书
一行代码python实现文件共享服务器
2021/04/22 Python
PyMongo 查询数据的实现
2021/06/28 Python
python异步的ASGI与Fast Api实现
2021/07/16 Python