Python爬虫入门有哪些基础知识点


Posted in Python onJune 02, 2020

1、什么是爬虫

爬虫,即网络爬虫,大家可以理解为在网络上爬行的一直蜘蛛,互联网就比作一张大网,而爬虫便是在这张网上爬来爬去的蜘蛛咯,如果它遇到资源,那么它就会抓取下来。想抓取什么?这个由你来控制它咯。

比如它在抓取一个网页,在这个网中他发现了一条道路,其实就是指向网页的超链接,那么它就可以爬到另一张网上来获取数据。这样,整个连在一起的大网对这之蜘蛛来说触手可及,分分钟爬下来不是事儿。

2、浏览网页的过程

在用户浏览网页的过程中,我们可能会看到许多好看的图片,比如 http://image.baidu.com/ ,我们会看到几张的图片以及百度搜索框,这个过程其实就是用户输入网址之后,经过DNS服务器,找到服务器主机,向服务器发出一个请求,服务器经过解析之后,发送给用户的浏览器 HTML、JS、CSS 等文件,浏览器解析出来,用户便可以看到形形色色的图片了。

因此,用户看到的网页实质是由 HTML 代码构成的,爬虫爬来的便是这些内容,通过分析和过滤这些 HTML 代码,实现对图片、文字等资源的获取。

3、URL的含义

URL,即统一资源定位符,也就是我们说的网址,统一资源定位符是对可以从互联网上得到的资源的位置和访问方法的一种简洁的表示,是互联网上标准资源的地址。互联网上的每个文件都有一个唯一的URL,它包含的信息指出文件的位置以及浏览器应该怎么处理它。

URL的格式由三部分组成:

①第一部分是协议(或称为服务方式)。

②第二部分是存有该资源的主机IP地址(有时也包括端口号)。

③第三部分是主机资源的具体地址,如目录和文件名等。

爬虫爬取数据时必须要有一个目标的URL才可以获取数据,因此,它是爬虫获取数据的基本依据,准确理解它的含义对爬虫学习有很大帮助。

4、环境的配置

学习Python,当然少不了环境的配置,最初我用的是Notepad++,不过发现它的提示功能实在是太弱了,于是,在Windows下我用了PyCharm,在Linux下我用了Eclipse for Python,另外还有几款比较优秀的IDE,大家可以参考这篇文章 学习Python推荐的IDE 。好的开发工具是前进的推进器,希望大家可以找到适合自己的IDE。

知识点补充:

什么是爬虫和爬虫的基本逻辑

“爬虫”是一种形象的说法。互联网比喻成一张大网,爬虫是一个程序或脚本在这种大网上爬走。碰到虫子(资源),若是所需的资源就获取或下载下来。这个资源通常是网页、文件等等。可以通过该资源里面的url链接,顺藤摸瓜继续爬取这些链接的资源。

你也可以把爬虫当作模拟我们正常上网。打开网页并分析网页的内容获取我们想要的东西。

那么,这里就涉及到http传输协议等相关的知识。

我们通常打开一个网页,基本上都是打开一个Url链接即可。在这个过程当中,实际上发生了很多事情。

打开一个Url链接,浏览器自动向Url链接的服务器发送一个请求(Request),告诉服务器说我需要访问这个Url链接的内容,请返回数据给我。服务器就处理该请求,响应该请求并返回结果给浏览器。

既然爬虫需要模拟该过程。根据http协议,爬虫需要构造一个请求(Request),发到请求到目标服务器(通常是Url链接)。然后等待服务器的响应(Response)。

所有相关的数据都在这个响应结果当中,这个就是爬虫实现的基本逻辑。

以上就是Python爬虫入门有哪些基础知识点的详细内容,更多关于Python爬虫入门的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
Python中用Ctrl+C终止多线程程序的问题解决
Mar 30 Python
python中的实例方法、静态方法、类方法、类变量和实例变量浅析
Apr 26 Python
手动实现把python项目发布为exe可执行程序过程分享
Oct 23 Python
python机器学习之贝叶斯分类
Mar 26 Python
Python for循环与range函数的使用详解
Mar 23 Python
python IDLE 背景以及字体大小的修改方法
Jul 12 Python
Python 实现顺序高斯消元法示例
Dec 09 Python
tensorflow使用指定gpu的方法
Feb 04 Python
keras 读取多标签图像数据方式
Jun 12 Python
python 如何利用argparse解析命令行参数
Sep 11 Python
PyCharm 2020.2.2 x64 下载并安装的详细教程
Oct 15 Python
解决python的空格和tab混淆而报错的问题
Feb 26 Python
Python实现进度条和时间预估的示例代码
Jun 02 #Python
python爬虫容易学吗
Jun 02 #Python
基于Python词云分析政府工作报告关键词
Jun 02 #Python
使用OpenCV获取图像某点的颜色值,并设置某点的颜色
Jun 02 #Python
如何利用python web框架做文件流下载的实现示例
Jun 02 #Python
python3+opencv 使用灰度直方图来判断图片的亮暗操作
Jun 02 #Python
Java多线程实现四种方式原理详解
Jun 02 #Python
You might like
用PHP实现的生成静态HTML速度快类库
2007/03/31 PHP
PHP+Tidy-完美的XHTML纠错+过滤
2007/04/10 PHP
PHP中判断变量为空的几种方法小结
2013/11/12 PHP
RR vs IO BO3 第二场2.13
2021/03/10 DOTA
改写一个简单的菜单 弹性大小
2010/12/02 Javascript
JavaScript面向对象之Prototypes和继承
2012/07/12 Javascript
JavaScript面向对象(极简主义法minimalist approach)
2012/07/17 Javascript
深入理解JavaScript高级之词法作用域和作用域链
2013/12/10 Javascript
JavaScript学习笔记之Cookie对象
2015/01/22 Javascript
分享两段简单的JS代码防止SQL注入
2016/04/12 Javascript
jQuery实现简单的tab标签页效果
2016/09/12 Javascript
各式各样的导航条效果css3结合jquery代码实现
2016/09/17 Javascript
angular2系列之路由转场动画的示例代码
2017/11/09 Javascript
使用D3.js构建实时图形的示例代码
2018/08/28 Javascript
JavaScript之数组扁平化详解
2019/06/03 Javascript
Node中对非阻塞I/O、事件循环的知识点总结
2020/01/05 Javascript
vue如何在用户要关闭当前网页时弹出提示的实现
2020/05/31 Javascript
Python专用方法与迭代机制实例分析
2014/09/15 Python
Python中的迭代器漫谈
2015/02/03 Python
python getopt详解及简单实例
2016/12/30 Python
python数据处理之如何选取csv文件中某几行的数据
2019/09/02 Python
python 浅谈serial与stm32通信的编码问题
2019/12/18 Python
django中嵌套的try-except实例
2020/05/21 Python
Python selenium爬取微博数据代码实例
2020/05/22 Python
python字典key不能是可以是啥类型
2020/08/04 Python
python批量生成条形码的示例
2020/10/10 Python
Pandas DataFrame求差集的示例代码
2020/12/13 Python
python regex库实例用法总结
2021/01/03 Python
CSS3实现自定义Checkbox特效实例代码
2017/04/24 HTML / CSS
纽约JewelryAffairs珠宝店:精细金银时尚首饰
2017/02/05 全球购物
毕业自荐信
2013/12/16 职场文书
《海底世界》教学反思
2014/04/16 职场文书
事业单位工作人员年度考核个人总结
2015/02/12 职场文书
素质教育学习心得体会
2016/01/19 职场文书
判断Python中的Nonetype类型
2021/05/25 Python
logback 实现给变量指定默认值
2021/08/30 Java/Android