python爬虫容易学吗


Posted in Python onJune 02, 2020

随着大数据时代的到来,数据将如同煤电气油一样,成为我们最重要的能源之一,然而这种能源是可以源源不断产生、可再生的。而Python爬虫作为获取数据的关键一环,在大数据时代有着极为重要的作用。于是许多同学就前来咨询:Python爬虫好学吗?

什么是爬虫?

网络爬虫,又被称为网页蜘蛛,网络机器人,是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。

数据从何而来?

要想学Python首先请问:我们所爬的数据,是从哪里来的呢?

企业产生的用户数据:百度指数、阿里指数、TBI腾讯浏览指数、新浪微博指数;

数据平台购买数据:数据堂、国云数据市场、贵阳大数据交易所;

政府/机构公开的数据:中华人民共和国国家统计局数据、世界银行公开数据、联合国数据、纳斯达克;

数据管理咨询公司:麦肯锡、埃森哲、艾瑞咨询;

爬取网络数据:如果需要的数据市场上没有,或者不愿意购买,那么可以选择招/做一名爬虫工程师,自己动手丰衣足食。

怎么抓取页面数据?

网页三大特征:

网页都有自己唯一的URL(统一资源定位符)来进行定位;

网页都使用HTML (超文本标记语言)来描述页面信息;

网页都使用HTTP/HTTPS(超文本传输协议)协议来传输HTML数据;

爬虫的设计思路:

首先确定需要爬取的网页URL地址。

通过HTTP/HTTP协议来获取对应的HTML页面。

提取HTML页面里有用的数据:

a. 如果是需要的数据,就保存起来。

b. 如果是页面里的其他URL,那就继续执行第二步。

结语:Python爬虫的学习实际上在Python学习过程中是一个基础入门级的部分,学起来没啥难的,但它确实是职业能力中不可或缺的技能之一。、

内容扩展:

一个简单的爬虫实例:

import urllib,urllib2
import re
def geturllist():
  # 不访问网站,而是实例一个对象,为了模拟浏览器访问服务器
  req = urllib2.Request("http://www.budejie.com/video/")
  
  # 添加申请访问的header,让对方服务器误以为是浏览器申请访问(参数是通过浏览器复制过来的)
  req.add_header('User-Agent',' Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36')
 
  # 打开我刚才创建的实例对象
  res =urllib2.urlopen(req)
  html = res.read()
  print html # 访问到了资源代码
 
  # 定义一个正则化表达式为了获取我要的视频网址
  reg = r'data-mp4="(.*?)">'
  # 将网页源码中的视频网址找出来
  urllist = re.findall(reg,html)
  # print urllist
 
  # 有20个视频网址,用for循环一个一个下载出来
  n = 1
  for url in urllist:
    # url 视频网址,'%s.mp4'下载后的名字,url.split('/')[-1] 将字符串按照‘/'分开
    urllib.urlretrieve(url,'%s.mp4' %url.split('/')[-1]) # 下载视频
    n = n+1
 
geturllist()

到此这篇关于python爬虫容易学吗的文章就介绍到这了,更多相关python爬虫好学吗内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python对切片命名的实现方法
Oct 16 Python
解决Mac下首次安装pycharm无project interpreter的问题
Oct 29 Python
对python产生随机的二维数组实例详解
Dec 13 Python
python调用matlab的m自定义函数方法
Feb 18 Python
python基于itchat模块实现微信防撤回
Apr 29 Python
Python实现一个带权无回置随机抽选函数的方法
Jul 24 Python
详解python中的生成器、迭代器、闭包、装饰器
Aug 22 Python
结合OpenCV与TensorFlow进行人脸识别的实现
Oct 10 Python
Python生成器next方法和send方法区别详解
May 30 Python
详解pandas.DataFrame.plot() 画图函数
Jun 14 Python
python实现发送带附件的邮件代码分享
Sep 22 Python
python用字节处理文件实例讲解
Apr 13 Python
基于Python词云分析政府工作报告关键词
Jun 02 #Python
使用OpenCV获取图像某点的颜色值,并设置某点的颜色
Jun 02 #Python
如何利用python web框架做文件流下载的实现示例
Jun 02 #Python
python3+opencv 使用灰度直方图来判断图片的亮暗操作
Jun 02 #Python
Java多线程实现四种方式原理详解
Jun 02 #Python
Python+Kepler.gl轻松制作酷炫路径动画的实现示例
Jun 02 #Python
opencv+python实现鼠标点击图像,输出该点的RGB和HSV值
Jun 02 #Python
You might like
php 操作excel文件的方法小结
2009/12/31 PHP
利用Ffmpeg获得flv视频缩略图和视频时间的代码
2011/09/15 PHP
php环境无法上传文件的解决方法
2014/04/30 PHP
php+mysql数据库查询实例
2015/01/21 PHP
php中strtotime函数性能分析
2016/11/20 PHP
日期函数扩展类Ver0.1.1
2006/09/07 Javascript
javascript 简单高效判断数据类型 系列函数 By shawl.qiu
2007/03/06 Javascript
JavaScript入门教程(10) 认识其他对象
2009/01/31 Javascript
jquery禁用右键示例
2014/04/28 Javascript
jQuery Ajax()方法使用指南
2014/11/19 Javascript
javascript如何实现暂停功能
2015/11/06 Javascript
jquery+json实现动态商品内容展示的方法
2016/01/14 Javascript
JS验证图片格式和大小并预览的简单实例
2016/10/11 Javascript
JavaScript reduce和reduceRight详解
2016/10/24 Javascript
基于node下的http小爬虫的示例代码
2018/01/11 Javascript
微信小程序实现tab左右切换效果
2020/11/15 Javascript
微信小程序环境下将文件上传到OSS的方法步骤
2019/05/31 Javascript
解决vue admin element noCache设置无效的问题
2019/11/12 Javascript
Vue axios获取token临时令牌封装案例
2020/09/11 Javascript
python WindowsError的错误代码详解
2017/07/23 Python
python抓取网站的图片并下载到本地的方法
2018/05/22 Python
Python实现八皇后问题示例代码
2018/12/09 Python
python的命名规则知识点总结
2019/10/04 Python
浅谈Python3识别判断图片主要颜色并和颜色库进行对比的方法
2019/10/25 Python
使用tqdm显示Python代码执行进度功能
2019/12/08 Python
Python创建自己的加密货币的示例
2021/03/01 Python
H5新属性audio音频和video视频的控制详解(推荐)
2016/12/09 HTML / CSS
村优秀党员事迹材料
2014/01/15 职场文书
乡下人家教学反思
2014/02/01 职场文书
化工专业自荐书
2014/06/16 职场文书
财务会计专业自荐书
2014/06/30 职场文书
2015年医德医风工作总结
2015/04/02 职场文书
董事长致辞
2015/07/29 职场文书
2016党员学习《反对自由主义》心得体会
2016/01/22 职场文书
导游词之徐州-云龙山
2019/09/29 职场文书
浅谈MySql整型索引和字符串索引失效或隐式转换问题
2021/11/20 MySQL