Python爬虫数据的分类及json数据使用小结


Posted in Python onMarch 29, 2021

数据的结构化分类

一般来讲对我们而言,需要抓取的是某个网站或者某个应用的内容,提取有用的价值。内容一般分为三部分,结构化的数据、半结构化的数据和非机构化数据。

1.结构化数据:
可以用统一的结构加以表示的数据。可以使用关系型数据库表示和存储,表现为二维形式的数据,一般特点是:数据以行为单位,一行数据表示一个实体的信息,每一行的数据的属性是相同的。

2.半结构化数据:
结构化数据的一种形式,并不符合关系型数据库或其他数据表的形式关联起来的数据模型结构,但包含相关标记,用来分隔语义元素以及对记录和字段进行分层。因此他也被成为自描述的结构。常见的半结构数据有:html,xml和json等、实际上是以树或者图的结构来存储的。

对于半结构化数据,节点中属性的顺序是不重要的,不同的半结构化数据的属性的个数是不一样的。这样的数据格式,可以自由的表达很多有用的信息,包含自描述信息。所以半结构化数据的扩展性很好,特别适合于在互联网中大规模传播。

3.非结构化数据
就是没有固定的结构。各种文档,图片,视频或者音频都属于非结构化数据。对于这类数据,我们一般直接整体进行存储,而且一般存储为二进制形式。

json数据

json(JavaScript Object Notation,JS对象标记)是一种轻量级的数据交换格式。他基于ECMAScript(w3c制定的JS规范)的一个子集,采用完全独立于编程语言的文本格式来存储和表示数据。简介和清晰的层次结构使得JSON成为理想的数据交换语言。

特点:易于阅读、易于机器生成、有效提升网络速度。
JSON语法规则:在JS语言中,一切都是对象。因此,任何支持的类型都可以通过json来表示。例如字符串、数字,对象,数组。

Js中对象和数组是比较特殊并且常用的两种类型:

  1. 对象表示为键值对{name:'zhangsan',age:'7'}
  2. 数据有逗号分隔[1,2,3,4,5]
  3. 花括号保存对象
  4. 方括号保存数组。

js的对象就相当于python中的字典
js的数组就相当于Python中的列表
因为json用来存储js的对象或者数组,所以在Python中我们可以将json转化为list或者dict。

解析json的包json:

json.dumps(python的list或者dict)---->(返回值)---->json字符串。
json.loads(json字符串)------>(返回值)----->python的list或者dict.

json.dump(list/dict,fp)—>list,或者字典保存到json文件中。
json.load(fp)—>list/dict:从json文件中读出json数据。

json键值对是用来保存js对象的一种方式,和js对象的写法页大同小异,比如:
{“firstName”:“Json”,“Class”:“aid1111”}等价于下面这条js语句:{firstName:“Json”,Class:“aid1111”}。

很多人搞不清楚json和js对象的关系,甚至谁是谁都不清楚。其实可以这么理解:
【JSON是JS对象的字符串表达式,他使用文本形式表示一个JS对象的信息,本质是一个字符串。】

如var obj = {a:“hello”,b:“World”}这是一个js对象。注意,键名也是可以用引号包裹的var json = ' {“a”:“hello”,“b”:“World”}'这是一个json字符串,本质上是一个字符串。

JSON作为数据包格式传输的时候具有更高的效率,这是因为JSON不想xml那样具有严格的闭合标签,这就让有效数据量与总数据包比大大提升,从而减少同等数据流量的情况下,网络的传输的压力大大减低。

Python 相关文章推荐
Python实现字典依据value排序
Feb 24 Python
Python模拟自动存取款机的查询、存取款、修改密码等操作
Sep 02 Python
使用python采集脚本之家电子书资源并自动下载到本地的实例脚本
Oct 23 Python
django 自定义过滤器的实现
Feb 26 Python
Python中面向对象你应该知道的一下知识
Jul 10 Python
python内存动态分配过程详解
Jul 15 Python
python基于TCP实现的文件下载器功能案例
Dec 10 Python
python实现tail -f 功能
Jan 17 Python
OpenCV4.1.0+VS2017环境配置的方法步骤
Jul 09 Python
Python利用matplotlib绘制散点图的新手教程
Nov 05 Python
一个非常简单好用的Python图形界面库(PysimpleGUI)
Dec 28 Python
Python中22个万用公式的小结
Jul 21 Python
python re模块和正则表达式
Mar 24 #Python
opencv实现图像几何变换
PyQt QMainWindow的使用示例
Mar 24 #Python
PyQt 如何创建自定义QWidget
Mar 24 #Python
解决python 输出到csv 出现多空行的情况
opencv实现图像平移效果
python+selenium小米商城红米K40手机自动抢购的示例代码
You might like
destoon实现调用当前栏目分类及子分类和三级分类的方法
2014/08/21 PHP
jQuery函数的第二个参数获取指定上下文中的DOM元素
2014/05/19 Javascript
JavaScript日期类型的一些用法介绍
2015/03/02 Javascript
浅谈Jquery为元素绑定事件
2015/04/27 Javascript
jquery选择器简述
2015/08/31 Javascript
学习vue.js条件渲染
2016/12/03 Javascript
js实现仿购物车加减效果
2017/03/01 Javascript
jQuery实现手势解锁密码特效
2017/08/14 jQuery
分享ES6的7个实用技巧
2018/01/18 Javascript
Vue中computed与methods的区别详解
2018/03/24 Javascript
vue实现动态显示与隐藏底部导航的方法分析
2019/02/11 Javascript
手把手带你封装一个vue component第三方库
2019/02/14 Javascript
使用pm2部署node生产环境的方法步骤
2019/03/09 Javascript
在vue中使用vuex,修改state的值示例
2019/11/08 Javascript
windows下安装Python虚拟环境virtualenvwrapper-win
2019/06/14 Python
python里运用私有属性和方法总结
2019/07/08 Python
解决echarts中饼图标签重叠的问题
2020/05/16 Python
python实现126邮箱发送邮件
2020/05/20 Python
Python特殊属性property原理及使用方法解析
2020/10/09 Python
python 实现超级玛丽游戏
2020/11/25 Python
深入浅出CSS3 background-clip,background-origin和border-image教程
2011/01/27 HTML / CSS
用HTML5制作一个简单的桌球游戏的教程
2015/05/12 HTML / CSS
Ralph Lauren法国官网:美国高品味时装品牌
2017/12/08 全球购物
Moda Italia荷兰:意大利男士服装
2019/08/31 全球购物
双立人加拿大官网:Zwilling加拿大
2020/08/10 全球购物
中考冲刺决心书
2014/03/11 职场文书
货物运输服务质量承诺书
2014/05/29 职场文书
心得体会的写法
2014/09/05 职场文书
优秀班主任工作总结2015
2015/05/25 职场文书
于丹讲座视频观后感
2015/06/15 职场文书
结婚喜宴祝酒词
2015/08/10 职场文书
党风廉政建设心得体会(2016最新版)
2016/01/22 职场文书
爱国之歌(8首)
2019/09/29 职场文书
MySQL 8.0 Online DDL快速加列的相关总结
2021/06/02 MySQL
24年收藏2000多部退役军用电台
2022/02/18 无线电
python数据分析之单因素分析线性拟合及地理编码
2022/06/25 Python