Python爬虫入门有哪些基础知识点


Posted in Python onJune 02, 2020

1、什么是爬虫

爬虫,即网络爬虫,大家可以理解为在网络上爬行的一直蜘蛛,互联网就比作一张大网,而爬虫便是在这张网上爬来爬去的蜘蛛咯,如果它遇到资源,那么它就会抓取下来。想抓取什么?这个由你来控制它咯。

比如它在抓取一个网页,在这个网中他发现了一条道路,其实就是指向网页的超链接,那么它就可以爬到另一张网上来获取数据。这样,整个连在一起的大网对这之蜘蛛来说触手可及,分分钟爬下来不是事儿。

2、浏览网页的过程

在用户浏览网页的过程中,我们可能会看到许多好看的图片,比如 http://image.baidu.com/ ,我们会看到几张的图片以及百度搜索框,这个过程其实就是用户输入网址之后,经过DNS服务器,找到服务器主机,向服务器发出一个请求,服务器经过解析之后,发送给用户的浏览器 HTML、JS、CSS 等文件,浏览器解析出来,用户便可以看到形形色色的图片了。

因此,用户看到的网页实质是由 HTML 代码构成的,爬虫爬来的便是这些内容,通过分析和过滤这些 HTML 代码,实现对图片、文字等资源的获取。

3、URL的含义

URL,即统一资源定位符,也就是我们说的网址,统一资源定位符是对可以从互联网上得到的资源的位置和访问方法的一种简洁的表示,是互联网上标准资源的地址。互联网上的每个文件都有一个唯一的URL,它包含的信息指出文件的位置以及浏览器应该怎么处理它。

URL的格式由三部分组成:

①第一部分是协议(或称为服务方式)。

②第二部分是存有该资源的主机IP地址(有时也包括端口号)。

③第三部分是主机资源的具体地址,如目录和文件名等。

爬虫爬取数据时必须要有一个目标的URL才可以获取数据,因此,它是爬虫获取数据的基本依据,准确理解它的含义对爬虫学习有很大帮助。

4、环境的配置

学习Python,当然少不了环境的配置,最初我用的是Notepad++,不过发现它的提示功能实在是太弱了,于是,在Windows下我用了PyCharm,在Linux下我用了Eclipse for Python,另外还有几款比较优秀的IDE,大家可以参考这篇文章 学习Python推荐的IDE 。好的开发工具是前进的推进器,希望大家可以找到适合自己的IDE。

知识点补充:

什么是爬虫和爬虫的基本逻辑

“爬虫”是一种形象的说法。互联网比喻成一张大网,爬虫是一个程序或脚本在这种大网上爬走。碰到虫子(资源),若是所需的资源就获取或下载下来。这个资源通常是网页、文件等等。可以通过该资源里面的url链接,顺藤摸瓜继续爬取这些链接的资源。

你也可以把爬虫当作模拟我们正常上网。打开网页并分析网页的内容获取我们想要的东西。

那么,这里就涉及到http传输协议等相关的知识。

我们通常打开一个网页,基本上都是打开一个Url链接即可。在这个过程当中,实际上发生了很多事情。

打开一个Url链接,浏览器自动向Url链接的服务器发送一个请求(Request),告诉服务器说我需要访问这个Url链接的内容,请返回数据给我。服务器就处理该请求,响应该请求并返回结果给浏览器。

既然爬虫需要模拟该过程。根据http协议,爬虫需要构造一个请求(Request),发到请求到目标服务器(通常是Url链接)。然后等待服务器的响应(Response)。

所有相关的数据都在这个响应结果当中,这个就是爬虫实现的基本逻辑。

以上就是Python爬虫入门有哪些基础知识点的详细内容,更多关于Python爬虫入门的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
Windows系统配置python脚本开机启动的3种方法分享
Mar 10 Python
使用Python编写简单的画图板程序的示例教程
Dec 08 Python
python如何将图片转换为字符图片
Aug 19 Python
Flask框架工厂函数用法实例分析
May 25 Python
使用 python pyautogui实现鼠标键盘控制功能
Aug 04 Python
Python使用pymysql模块操作mysql增删改查实例分析
Dec 19 Python
Django实现将views.py中的数据传递到前端html页面,并展示
Mar 16 Python
Keras:Unet网络实现多类语义分割方式
Jun 11 Python
python 下载文件的多种方法汇总
Nov 17 Python
浅析Python的命名空间与作用域
Nov 25 Python
Python 文本滚动播放器的实现代码
Apr 25 Python
python使用pywinauto驱动微信客户端实现公众号爬虫
May 19 Python
Python实现进度条和时间预估的示例代码
Jun 02 #Python
python爬虫容易学吗
Jun 02 #Python
基于Python词云分析政府工作报告关键词
Jun 02 #Python
使用OpenCV获取图像某点的颜色值,并设置某点的颜色
Jun 02 #Python
如何利用python web框架做文件流下载的实现示例
Jun 02 #Python
python3+opencv 使用灰度直方图来判断图片的亮暗操作
Jun 02 #Python
Java多线程实现四种方式原理详解
Jun 02 #Python
You might like
信用卡效验程序
2006/10/09 PHP
rrmdir php中递归删除目录及目录下的文件
2011/05/15 PHP
PHP应用JSON技巧讲解
2013/02/03 PHP
php数组查找函数in_array()、array_search()、array_key_exists()使用实例
2014/04/29 PHP
PHP将session信息存储到数据库的类实例
2015/03/04 PHP
php封装一个异常的处理类
2017/06/08 PHP
Thinkphp 框架扩展之Widget扩展实现方法分析
2020/04/23 PHP
再谈javascript原型继承
2014/11/10 Javascript
jQuery插件imgPreviewQs实现上传图片预览
2016/01/15 Javascript
JS常用加密编码与算法实例总结
2016/12/22 Javascript
JQuery EasyUI的一些常用组件
2017/07/12 jQuery
微信小程序实现人脸检测功能
2018/05/25 Javascript
微信小程序数据分析之自定义分析的实现
2018/08/17 Javascript
vue实现重置表单信息为空的方法
2018/09/29 Javascript
vue-music 使用better-scroll遇到轮播图不能自动轮播问题
2018/12/03 Javascript
Easyui 关闭jquery-easui tab标签页前触发事件的解决方法
2019/04/28 jQuery
如何利用javascript接收json信息并进行处理
2020/08/06 Javascript
[54:53]完美世界DOTA2联赛PWL S2 GXR vs PXG 第二场 11.18
2020/11/18 DOTA
Python中的yield浅析
2014/06/16 Python
Python实现将n个点均匀地分布在球面上的方法
2015/03/12 Python
python实现二维数组的对角线遍历
2019/03/02 Python
Python 实现大整数乘法算法的示例代码
2019/09/17 Python
HTML5的结构和语义(2):结构
2008/10/17 HTML / CSS
Sam’s Club山姆会员商店:沃尔玛旗下高端会员制商店
2017/01/16 全球购物
历史学专业大学生找工作的自我评价
2013/10/16 职场文书
2014社区三八妇女节活动方案
2014/03/30 职场文书
青春演讲稿范文
2014/05/08 职场文书
体现团队精神的口号
2014/06/06 职场文书
公司户外活动总结
2014/07/04 职场文书
小学感恩节活动总结
2015/03/24 职场文书
萤火虫之墓观后感
2015/06/05 职场文书
八年级数学教学反思
2016/02/17 职场文书
为什么说餐饮很难做,是因为你不了解这些新规则
2019/08/20 职场文书
使用golang编写一个并发工作队列
2021/05/08 Golang
JavaScript如何利用Promise控制并发请求个数
2021/05/14 Javascript
Ruby处理YAML和json数据
2022/04/18 Ruby