Python爬虫入门有哪些基础知识点


Posted in Python onJune 02, 2020

1、什么是爬虫

爬虫,即网络爬虫,大家可以理解为在网络上爬行的一直蜘蛛,互联网就比作一张大网,而爬虫便是在这张网上爬来爬去的蜘蛛咯,如果它遇到资源,那么它就会抓取下来。想抓取什么?这个由你来控制它咯。

比如它在抓取一个网页,在这个网中他发现了一条道路,其实就是指向网页的超链接,那么它就可以爬到另一张网上来获取数据。这样,整个连在一起的大网对这之蜘蛛来说触手可及,分分钟爬下来不是事儿。

2、浏览网页的过程

在用户浏览网页的过程中,我们可能会看到许多好看的图片,比如 http://image.baidu.com/ ,我们会看到几张的图片以及百度搜索框,这个过程其实就是用户输入网址之后,经过DNS服务器,找到服务器主机,向服务器发出一个请求,服务器经过解析之后,发送给用户的浏览器 HTML、JS、CSS 等文件,浏览器解析出来,用户便可以看到形形色色的图片了。

因此,用户看到的网页实质是由 HTML 代码构成的,爬虫爬来的便是这些内容,通过分析和过滤这些 HTML 代码,实现对图片、文字等资源的获取。

3、URL的含义

URL,即统一资源定位符,也就是我们说的网址,统一资源定位符是对可以从互联网上得到的资源的位置和访问方法的一种简洁的表示,是互联网上标准资源的地址。互联网上的每个文件都有一个唯一的URL,它包含的信息指出文件的位置以及浏览器应该怎么处理它。

URL的格式由三部分组成:

①第一部分是协议(或称为服务方式)。

②第二部分是存有该资源的主机IP地址(有时也包括端口号)。

③第三部分是主机资源的具体地址,如目录和文件名等。

爬虫爬取数据时必须要有一个目标的URL才可以获取数据,因此,它是爬虫获取数据的基本依据,准确理解它的含义对爬虫学习有很大帮助。

4、环境的配置

学习Python,当然少不了环境的配置,最初我用的是Notepad++,不过发现它的提示功能实在是太弱了,于是,在Windows下我用了PyCharm,在Linux下我用了Eclipse for Python,另外还有几款比较优秀的IDE,大家可以参考这篇文章 学习Python推荐的IDE 。好的开发工具是前进的推进器,希望大家可以找到适合自己的IDE。

知识点补充:

什么是爬虫和爬虫的基本逻辑

“爬虫”是一种形象的说法。互联网比喻成一张大网,爬虫是一个程序或脚本在这种大网上爬走。碰到虫子(资源),若是所需的资源就获取或下载下来。这个资源通常是网页、文件等等。可以通过该资源里面的url链接,顺藤摸瓜继续爬取这些链接的资源。

你也可以把爬虫当作模拟我们正常上网。打开网页并分析网页的内容获取我们想要的东西。

那么,这里就涉及到http传输协议等相关的知识。

我们通常打开一个网页,基本上都是打开一个Url链接即可。在这个过程当中,实际上发生了很多事情。

打开一个Url链接,浏览器自动向Url链接的服务器发送一个请求(Request),告诉服务器说我需要访问这个Url链接的内容,请返回数据给我。服务器就处理该请求,响应该请求并返回结果给浏览器。

既然爬虫需要模拟该过程。根据http协议,爬虫需要构造一个请求(Request),发到请求到目标服务器(通常是Url链接)。然后等待服务器的响应(Response)。

所有相关的数据都在这个响应结果当中,这个就是爬虫实现的基本逻辑。

以上就是Python爬虫入门有哪些基础知识点的详细内容,更多关于Python爬虫入门的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
python数据库操作常用功能使用详解(创建表/插入数据/获取数据)
Dec 06 Python
python基础教程之Hello World!
Aug 29 Python
python使用wxpython开发简单记事本的方法
May 20 Python
Python中线程编程之threading模块的使用详解
Jun 23 Python
Python中Collections模块的Counter容器类使用教程
May 31 Python
Python编程之string相关操作实例详解
Jul 22 Python
对Python中Iterator和Iterable的区别详解
Oct 18 Python
Python集合基本概念与相关操作实例分析
Oct 30 Python
python使用 cx_Oracle 模块进行查询操作示例
Nov 28 Python
详解win10下pytorch-gpu安装以及CUDA详细安装过程
Jan 28 Python
python中的被动信息搜集
Apr 29 Python
Python OpenGL基本配置方式
May 20 Python
Python实现进度条和时间预估的示例代码
Jun 02 #Python
python爬虫容易学吗
Jun 02 #Python
基于Python词云分析政府工作报告关键词
Jun 02 #Python
使用OpenCV获取图像某点的颜色值,并设置某点的颜色
Jun 02 #Python
如何利用python web框架做文件流下载的实现示例
Jun 02 #Python
python3+opencv 使用灰度直方图来判断图片的亮暗操作
Jun 02 #Python
Java多线程实现四种方式原理详解
Jun 02 #Python
You might like
php处理restful请求的路由类分享
2014/02/27 PHP
PHP模板引擎Smarty内建函数详解
2016/04/11 PHP
laravel中的错误与日志用法详解
2016/07/26 PHP
CI框架入门之MVC简单示例
2016/11/21 PHP
PHP框架Laravel中实现supervisor执行异步进程的方法
2017/06/07 PHP
Mootools 1.2教程 选项卡效果(Tabs)
2009/09/15 Javascript
统计jQuery中各字符串出现次数的工具
2012/05/03 Javascript
JavaScript排序算法之希尔排序的2个实例
2014/04/04 Javascript
javascript中JSON.parse()与eval()解析json的区别
2016/05/19 Javascript
D3.js中强制异步文件读取同步的几种方法
2017/02/06 Javascript
十大 Node.js 的 Web 框架(快速提升工作效率)
2017/06/30 Javascript
vuex的module模块用法示例
2018/11/12 Javascript
JS使用H5实现图片预览功能
2019/09/30 Javascript
vue v-model的用法解析
2020/10/19 Javascript
如何使用 JavaScript 操作浏览器历史记录 API
2020/11/24 Javascript
[06:37]2014DOTA2国际邀请赛 昔日王者渴望重回巅峰
2014/07/12 DOTA
[56:56]VG vs LGD 2019国际邀请赛淘汰赛 胜者组 BO3 第一场 8.22
2019/09/05 DOTA
Python重新引入被覆盖的自带function
2014/07/16 Python
在服务器端实现无间断部署Python应用的教程
2015/04/16 Python
关于python之字典的嵌套,递归调用方法
2019/01/21 Python
Django+Xadmin构建项目的方法步骤
2019/03/06 Python
Ubuntu18.04下python版本完美切换的解决方法
2019/06/14 Python
keras读取训练好的模型参数并把参数赋值给其它模型详解
2020/06/15 Python
衰败城市英国官网:Urban Decay英国
2020/04/29 全球购物
视图的作用
2014/12/19 面试题
学校消防安全制度
2014/01/30 职场文书
十八届三中全会报告学习材料
2014/02/17 职场文书
股票投资建议书
2014/05/19 职场文书
节约用水演讲稿
2014/05/21 职场文书
交通事故赔偿协议书怎么写
2014/10/04 职场文书
预备党员2014年第四季度思想汇报范文
2014/10/25 职场文书
美术教师求职信范文
2015/03/20 职场文书
协议书格式模板
2016/03/24 职场文书
详解Python小数据池和代码块缓存机制
2021/04/07 Python
CSS3 Tab动画实例之背景切换动态效果
2021/08/23 HTML / CSS
vue项目打包后路由错误的解决方法
2022/04/13 Vue.js