Python爬虫入门有哪些基础知识点


Posted in Python onJune 02, 2020

1、什么是爬虫

爬虫,即网络爬虫,大家可以理解为在网络上爬行的一直蜘蛛,互联网就比作一张大网,而爬虫便是在这张网上爬来爬去的蜘蛛咯,如果它遇到资源,那么它就会抓取下来。想抓取什么?这个由你来控制它咯。

比如它在抓取一个网页,在这个网中他发现了一条道路,其实就是指向网页的超链接,那么它就可以爬到另一张网上来获取数据。这样,整个连在一起的大网对这之蜘蛛来说触手可及,分分钟爬下来不是事儿。

2、浏览网页的过程

在用户浏览网页的过程中,我们可能会看到许多好看的图片,比如 http://image.baidu.com/ ,我们会看到几张的图片以及百度搜索框,这个过程其实就是用户输入网址之后,经过DNS服务器,找到服务器主机,向服务器发出一个请求,服务器经过解析之后,发送给用户的浏览器 HTML、JS、CSS 等文件,浏览器解析出来,用户便可以看到形形色色的图片了。

因此,用户看到的网页实质是由 HTML 代码构成的,爬虫爬来的便是这些内容,通过分析和过滤这些 HTML 代码,实现对图片、文字等资源的获取。

3、URL的含义

URL,即统一资源定位符,也就是我们说的网址,统一资源定位符是对可以从互联网上得到的资源的位置和访问方法的一种简洁的表示,是互联网上标准资源的地址。互联网上的每个文件都有一个唯一的URL,它包含的信息指出文件的位置以及浏览器应该怎么处理它。

URL的格式由三部分组成:

①第一部分是协议(或称为服务方式)。

②第二部分是存有该资源的主机IP地址(有时也包括端口号)。

③第三部分是主机资源的具体地址,如目录和文件名等。

爬虫爬取数据时必须要有一个目标的URL才可以获取数据,因此,它是爬虫获取数据的基本依据,准确理解它的含义对爬虫学习有很大帮助。

4、环境的配置

学习Python,当然少不了环境的配置,最初我用的是Notepad++,不过发现它的提示功能实在是太弱了,于是,在Windows下我用了PyCharm,在Linux下我用了Eclipse for Python,另外还有几款比较优秀的IDE,大家可以参考这篇文章 学习Python推荐的IDE 。好的开发工具是前进的推进器,希望大家可以找到适合自己的IDE。

知识点补充:

什么是爬虫和爬虫的基本逻辑

“爬虫”是一种形象的说法。互联网比喻成一张大网,爬虫是一个程序或脚本在这种大网上爬走。碰到虫子(资源),若是所需的资源就获取或下载下来。这个资源通常是网页、文件等等。可以通过该资源里面的url链接,顺藤摸瓜继续爬取这些链接的资源。

你也可以把爬虫当作模拟我们正常上网。打开网页并分析网页的内容获取我们想要的东西。

那么,这里就涉及到http传输协议等相关的知识。

我们通常打开一个网页,基本上都是打开一个Url链接即可。在这个过程当中,实际上发生了很多事情。

打开一个Url链接,浏览器自动向Url链接的服务器发送一个请求(Request),告诉服务器说我需要访问这个Url链接的内容,请返回数据给我。服务器就处理该请求,响应该请求并返回结果给浏览器。

既然爬虫需要模拟该过程。根据http协议,爬虫需要构造一个请求(Request),发到请求到目标服务器(通常是Url链接)。然后等待服务器的响应(Response)。

所有相关的数据都在这个响应结果当中,这个就是爬虫实现的基本逻辑。

以上就是Python爬虫入门有哪些基础知识点的详细内容,更多关于Python爬虫入门的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
Ruby元编程基础学习笔记整理
Jul 02 Python
Python实现统计代码行的方法分析
Jul 12 Python
轻量级的Web框架Flask 中模块化应用的实现
Sep 11 Python
利用TensorFlow训练简单的二分类神经网络模型的方法
Mar 05 Python
pandas Dataframe行列读取的实例
Jun 08 Python
让Python脚本暂停执行的几种方法(小结)
Jul 11 Python
Python实现数值积分方式
Nov 20 Python
Django实现whoosh搜索引擎使用jieba分词
Apr 08 Python
Python如何把字典写入到CSV文件的方法示例
Aug 23 Python
Python机器学习之PCA降维算法详解
May 19 Python
Python-OpenCV实现图像缺陷检测的实例
Jun 11 Python
Python编程中内置的NotImplemented类型的用法
Mar 23 Python
Python实现进度条和时间预估的示例代码
Jun 02 #Python
python爬虫容易学吗
Jun 02 #Python
基于Python词云分析政府工作报告关键词
Jun 02 #Python
使用OpenCV获取图像某点的颜色值,并设置某点的颜色
Jun 02 #Python
如何利用python web框架做文件流下载的实现示例
Jun 02 #Python
python3+opencv 使用灰度直方图来判断图片的亮暗操作
Jun 02 #Python
Java多线程实现四种方式原理详解
Jun 02 #Python
You might like
PHP网页游戏学习之Xnova(ogame)源码解读(十)
2014/06/24 PHP
PHP实现服务器状态监控的方法
2014/12/09 PHP
浅谈PHP面向对象之访问者模式+组合模式
2017/05/22 PHP
PHP 实现人民币小写转换成大写的方法及大小写转换函数
2017/11/17 PHP
laravel 解决多库下的DB::transaction()事务失效问题
2019/10/21 PHP
理解JavaScript的变量的入门教程
2015/07/07 Javascript
学习JavaScript设计模式(多态)
2015/11/25 Javascript
Express的HTTP重定向到HTTPS的方法
2018/06/06 Javascript
详解Vue+ElementUI从零开始搭建自己的网站(一、环境搭建)
2019/04/30 Javascript
Vue.js路由实现选项卡简单实例
2019/07/24 Javascript
vue单页应用的内存泄露定位和修复问题小结
2019/08/02 Javascript
vue.js实现左边导航切换右边内容
2019/10/21 Javascript
python三元运算符实现方法
2013/12/17 Python
Django URL传递参数的方法总结
2016/08/28 Python
Python创建xml文件示例
2017/03/22 Python
利用python打印出菱形、三角形以及矩形的方法实例
2017/08/08 Python
python 获取指定文件夹下所有文件名称并写入列表的实例
2018/04/23 Python
python求最大值,不使用内置函数的实现方法
2019/07/09 Python
django 数据库返回queryset实现封装为字典
2020/05/19 Python
Python使用urlretrieve实现直接远程下载图片的示例代码
2020/08/17 Python
利用css3实现的简单的鼠标悬停按钮
2014/11/04 HTML / CSS
雅诗兰黛旗下走天然植物路线的彩妆品牌:Prescriptives
2016/08/14 全球购物
C#里面如何倒序排列一个数组的元素?
2013/06/21 面试题
幼教个人求职信范文
2013/12/02 职场文书
物流仓储计划书
2014/01/10 职场文书
学生打架检讨书
2014/02/14 职场文书
学校消防演习方案
2014/02/19 职场文书
《美丽的黄昏》教学反思
2014/02/28 职场文书
重阳节活动总结
2014/08/27 职场文书
民主生活会发言材料
2014/10/20 职场文书
2015个人半年总结范文
2015/03/09 职场文书
力克胡哲观后感
2015/06/10 职场文书
四则混合运算教学反思
2016/02/23 职场文书
MySQL子查询中order by不生效问题的解决方法
2021/08/02 MySQL
Python卷积神经网络图片分类框架详解分析
2021/11/07 Python
python数据可视化JupyterLab实用扩展程序Mito
2021/11/20 Python