学python爬虫能做什么


Posted in Python onJuly 29, 2020

世界上80%的爬虫是基于Python开发的,学好爬虫技能,可为后续的大数据分析、挖掘、机器学习等提供重要的数据源。

什么是爬虫?

网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

其实通俗的讲就是通过程序去获取web页面上自己想要的数据,也就是自动抓取数据

爬虫可以做什么?

你可以用爬虫爬图片,爬取视频等等你想要爬取的数据,只要你能通过浏览器访问的数据都可以通过爬虫获取。

爬虫的本质是什么?

模拟浏览器打开网页,获取网页中我们想要的那部分数据

浏览器打开网页的过程:

当你在浏览器中输入地址后,经过DNS服务器找到服务器主机,向服务器发送一个请求,服务器经过解析后发送给用户浏览器结果,包括html,js,css等文件内容,浏览器解析出来最后呈现给用户在浏览器上看到的结果

所以用户看到的浏览器的结果就是由HTML代码构成的,我们爬虫就是为了获取这些内容,通过分析和过滤html代码,从中获取我们想要资源。

知识点扩展:

Python具有强大而丰富的类库,也经常被别人说是胶水语言,可以跟其它语言写的模块结合在一起。

优点

1.简单:Python是一种代表简单主义思想的语言。

2.易用:Python简单容易上手,因为有简单容易看懂的文档。

3.速度快:运行速度快,因为Python中的标准库和第三方库都是C语言编写的,所以很快。

4.免费、开源:Python是一款FLOSS(自由/源代码软件)之一,使用者可以自由地发布这个软件的拷贝、阅读它的源代码、对它做改动、把它的一部分用于新的自由软件中。

5.高层语言:用Python语言编写程序的时候无需考虑诸如如何管理你的程序使用的内存一类的底层细节。

6.可移植性:由于它的开源本质,Python已经被移植在许多平台上(经过改动使它能够工作在不同平台上)。

7.解释性:Python语言写的程序不需要编译成二进制代码。你可以直接从源代码运行 程序。在计算机内部,Python解释器把源代码转换成称为字节码的中间形式,然后再把它翻译成计算机使用的机器语言并运行。这使得使用Python更加简单。也使得Python程序更加易于移植。

8.面向对象:Python既支持面向过程的编程也支持面向对象的编程。在“面向过程”的语言中,程序是由过程或仅仅是可重用代码的函数构建起来的。在“面向对象”的语言中,程序是由数据和功能组合而成的对象构建起来的。

9.可扩展性:如果需要一段关键代码运行得更快或者希望某些算法不公开,可以部分程序用C或C++编写,然后在Python程序中使用它们。

10.可嵌入性:可以把Python嵌入C/C++程序,从而向程序用户提供脚本功能。

11.丰富的库:Python标准库确实很庞大。它可以帮助处理各种工作,包括正则表达式、文档生成、单元测试、线程、数据库、网页浏览器、CGI、FTP、电子邮件、XML、XML-RPC、HTML、WAV文件、密码系统、GUI(图形用户界面)、Tk和其他与系统有关的操作。

12.规范的代码:Python采用强制缩进的方式使得代码具有较好可读性。而Python语言写的程序不需要编译成二进制代码。

以上就是学python爬虫能做什么的详细内容,更多关于python爬虫可以做什么的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
Python之eval()函数危险性浅析
Jul 03 Python
Python打印scrapy蜘蛛抓取树结构的方法
Apr 08 Python
Python使用os模块和fileinput模块来操作文件目录
Jan 19 Python
python使用RNN实现文本分类
May 24 Python
Python SQL查询并生成json文件操作示例
Aug 17 Python
python无限生成不重复(字母,数字,字符)组合的方法
Dec 04 Python
解决python -m pip install --upgrade pip 升级不成功问题
Mar 05 Python
Python callable内置函数原理解析
Mar 05 Python
Python 整行读取文本方法并去掉readlines换行\n操作
Sep 03 Python
总结python 三种常见的内存泄漏场景
Nov 20 Python
如何用Python和JS实现的Web SSH工具
Feb 23 Python
Python Django搭建文件下载服务器的实现
May 10 Python
Python 创建TCP服务器的方法
Jul 28 #Python
Python实现画图软件功能方法详解
Jul 28 #Python
Python绘图之柱形图绘制详解
Jul 28 #Python
Python如何定义接口和抽象类
Jul 28 #Python
Python爬虫之爬取淘女郎照片示例详解
Jul 28 #Python
Python selenium键盘鼠标事件实现过程详解
Jul 28 #Python
用python写爬虫简单吗
Jul 28 #Python
You might like
PHP迭代器实现斐波纳契数列的函数
2013/11/12 PHP
利用PHP命令行模式采集股票趋势信息
2016/08/09 PHP
PHP实现留言板功能的详细代码
2017/03/25 PHP
PHP实现的链式队列结构示例
2017/09/15 PHP
YII框架学习笔记之命名空间、操作响应与视图操作示例
2019/04/30 PHP
父窗口获取弹出子窗口文本框的值
2006/06/27 Javascript
JavaScript 轻松搞定快捷留言功能 只需一行代码
2010/04/01 Javascript
javascript中的继承实例代码
2011/04/27 Javascript
jquery事件机制扩展插件 jquery鼠标右键事件
2011/12/21 Javascript
javascript学习笔记(十) js对象 继承
2012/06/19 Javascript
关于js new Date() 出现NaN 的分析
2012/10/23 Javascript
12款经典的白富美型—jquery图片轮播插件—前端开发必备
2013/01/08 Javascript
Javascript中判断变量是数组还是对象(array还是object)
2013/08/14 Javascript
推荐9款炫酷的基于jquery的页面特效
2014/12/07 Javascript
jquery调取json数据实现省市级联的方法
2015/01/29 Javascript
jquery获取url参数及url加参数的方法
2015/10/26 Javascript
简述JavaScript提交表单的方式 (Using JavaScript Submit Form)
2016/03/18 Javascript
jQuery中Ajax全局事件引用方式及各个事件(全局/局部)执行顺序
2016/06/02 Javascript
JS动态给对象添加属性和值的实现方法
2016/10/21 Javascript
基于JavaScript实现瀑布流效果
2017/03/29 Javascript
javascript 初学教程及五子棋小程序的简单实现
2017/07/04 Javascript
JS实现身份证输入框的输入效果
2017/08/21 Javascript
一次Webpack配置文件的分离实战记录
2018/11/30 Javascript
原生js实现随机点餐效果
2019/12/10 Javascript
vue中使用带隐藏文本信息的图片、图片水印的方法
2020/04/24 Javascript
python中的sort方法使用详解
2014/07/25 Python
Python multiprocessing.Manager介绍和实例(进程间共享数据)
2014/11/21 Python
Python+OpenCV让电脑帮你玩微信跳一跳
2018/01/04 Python
使用Python实现画一个中国地图
2019/11/23 Python
Python 从attribute到property详解
2020/03/05 Python
Python smtp邮件发送模块用法教程
2020/06/15 Python
Python logging自定义字段输出及打印颜色
2020/11/30 Python
美国最佳在线航班预订网站:LookupFare
2019/03/26 全球购物
预备党员党校学习自我评价分享
2013/11/12 职场文书
《颐和园》教学反思
2014/02/26 职场文书
周末问候语大全
2015/11/10 职场文书