python爬虫容易学吗


Posted in Python onJune 02, 2020

随着大数据时代的到来,数据将如同煤电气油一样,成为我们最重要的能源之一,然而这种能源是可以源源不断产生、可再生的。而Python爬虫作为获取数据的关键一环,在大数据时代有着极为重要的作用。于是许多同学就前来咨询:Python爬虫好学吗?

什么是爬虫?

网络爬虫,又被称为网页蜘蛛,网络机器人,是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。

数据从何而来?

要想学Python首先请问:我们所爬的数据,是从哪里来的呢?

企业产生的用户数据:百度指数、阿里指数、TBI腾讯浏览指数、新浪微博指数;

数据平台购买数据:数据堂、国云数据市场、贵阳大数据交易所;

政府/机构公开的数据:中华人民共和国国家统计局数据、世界银行公开数据、联合国数据、纳斯达克;

数据管理咨询公司:麦肯锡、埃森哲、艾瑞咨询;

爬取网络数据:如果需要的数据市场上没有,或者不愿意购买,那么可以选择招/做一名爬虫工程师,自己动手丰衣足食。

怎么抓取页面数据?

网页三大特征:

网页都有自己唯一的URL(统一资源定位符)来进行定位;

网页都使用HTML (超文本标记语言)来描述页面信息;

网页都使用HTTP/HTTPS(超文本传输协议)协议来传输HTML数据;

爬虫的设计思路:

首先确定需要爬取的网页URL地址。

通过HTTP/HTTP协议来获取对应的HTML页面。

提取HTML页面里有用的数据:

a. 如果是需要的数据,就保存起来。

b. 如果是页面里的其他URL,那就继续执行第二步。

结语:Python爬虫的学习实际上在Python学习过程中是一个基础入门级的部分,学起来没啥难的,但它确实是职业能力中不可或缺的技能之一。、

内容扩展:

一个简单的爬虫实例:

import urllib,urllib2
import re
def geturllist():
  # 不访问网站,而是实例一个对象,为了模拟浏览器访问服务器
  req = urllib2.Request("http://www.budejie.com/video/")
  
  # 添加申请访问的header,让对方服务器误以为是浏览器申请访问(参数是通过浏览器复制过来的)
  req.add_header('User-Agent',' Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36')
 
  # 打开我刚才创建的实例对象
  res =urllib2.urlopen(req)
  html = res.read()
  print html # 访问到了资源代码
 
  # 定义一个正则化表达式为了获取我要的视频网址
  reg = r'data-mp4="(.*?)">'
  # 将网页源码中的视频网址找出来
  urllist = re.findall(reg,html)
  # print urllist
 
  # 有20个视频网址,用for循环一个一个下载出来
  n = 1
  for url in urllist:
    # url 视频网址,'%s.mp4'下载后的名字,url.split('/')[-1] 将字符串按照‘/'分开
    urllib.urlretrieve(url,'%s.mp4' %url.split('/')[-1]) # 下载视频
    n = n+1
 
geturllist()

到此这篇关于python爬虫容易学吗的文章就介绍到这了,更多相关python爬虫好学吗内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
浅谈Python程序与C++程序的联合使用
Apr 07 Python
Python爬虫之xlml解析库(全面了解)
Aug 08 Python
Python处理CSV与List的转换方法
Apr 19 Python
python对视频画框标记后保存的方法
Dec 07 Python
Python中super函数用法实例分析
Mar 18 Python
Python Excel处理库openpyxl使用详解
May 09 Python
Django model update的多种用法介绍
Mar 28 Python
Python学习笔记之函数的参数和返回值的使用
Nov 20 Python
python列表推导式操作解析
Nov 26 Python
python 使用xlsxwriter循环向excel中插入数据和图片的操作
Jan 01 Python
python 视频下载神器(you-get)的具体使用
Jan 06 Python
请求模块urllib之PYTHON爬虫的基本使用
Apr 08 Python
基于Python词云分析政府工作报告关键词
Jun 02 #Python
使用OpenCV获取图像某点的颜色值,并设置某点的颜色
Jun 02 #Python
如何利用python web框架做文件流下载的实现示例
Jun 02 #Python
python3+opencv 使用灰度直方图来判断图片的亮暗操作
Jun 02 #Python
Java多线程实现四种方式原理详解
Jun 02 #Python
Python+Kepler.gl轻松制作酷炫路径动画的实现示例
Jun 02 #Python
opencv+python实现鼠标点击图像,输出该点的RGB和HSV值
Jun 02 #Python
You might like
PHP ? EasyUI DataGrid 资料取的方式介绍
2012/11/07 PHP
php实现留言板功能(会话控制)
2017/05/23 PHP
简单实现php上传文件功能
2017/09/21 PHP
PHP双向链表定义与用法示例
2018/01/31 PHP
PHP 8新特性简介
2020/08/18 PHP
JavaScript 克隆数组最简单的方法
2009/02/12 Javascript
匹配任意字符的正则表达式写法
2010/04/29 Javascript
javascript Window及document对象详细整理
2011/01/12 Javascript
cument.execCommand()用法深入理解
2012/12/04 Javascript
jQuery设置与获取HTML,文本和值的简单实例
2014/02/26 Javascript
form.submit()不能提交表单的原因分析
2014/10/23 Javascript
HTML,CSS,JavaScript速查表推荐
2014/12/02 Javascript
Hallo.js基于jQuery UI所见即所得的Web编辑器
2016/01/26 Javascript
Node.js获取前端ajax提交的request信息
2017/02/20 Javascript
老生常谈javascript中逻辑运算符&&和||的返回值问题
2017/04/13 Javascript
bootstrap精简教程_动力节点Java学院整理
2017/07/14 Javascript
js HTML5 canvas绘制图片的方法
2017/09/08 Javascript
基于vue实现网站前台的权限管理(前后端分离实践)
2018/01/13 Javascript
vue.js与element-ui实现菜单树形结构的解决方法
2018/04/21 Javascript
vue仿element实现分页器效果
2018/09/13 Javascript
JavaScript ES6箭头函数使用指南
2018/12/30 Javascript
微信小程序开发常见问题及解决方案
2019/07/11 Javascript
详谈Vue.js框架下main.js,App.vue,page/index.vue之间的区别
2020/08/12 Javascript
在vant 中使用cell组件 定义图标该图片和位置操作
2020/11/02 Javascript
在IIS服务器上以CGI方式运行Python脚本的教程
2015/04/25 Python
Python简单计算数组元素平均值的方法示例
2017/12/26 Python
python dataframe 输出结果整行显示的方法
2018/06/14 Python
Python3 关于pycharm自动导入包快捷设置的方法
2019/01/16 Python
为什么说Python可以实现所有的算法
2019/10/04 Python
美国专注于健康商品的网站:eVitamins
2017/01/23 全球购物
护理专业的自荐信
2013/10/22 职场文书
广告业务员岗位职责
2014/02/06 职场文书
车间核算员岗位职责
2014/07/01 职场文书
兴趣班停课通知
2015/04/24 职场文书
活动经费申请报告
2015/05/15 职场文书
团支部组织委员竞选稿
2015/11/21 职场文书