Python爬虫数据的分类及json数据使用小结


Posted in Python onMarch 29, 2021

数据的结构化分类

一般来讲对我们而言,需要抓取的是某个网站或者某个应用的内容,提取有用的价值。内容一般分为三部分,结构化的数据、半结构化的数据和非机构化数据。

1.结构化数据:
可以用统一的结构加以表示的数据。可以使用关系型数据库表示和存储,表现为二维形式的数据,一般特点是:数据以行为单位,一行数据表示一个实体的信息,每一行的数据的属性是相同的。

2.半结构化数据:
结构化数据的一种形式,并不符合关系型数据库或其他数据表的形式关联起来的数据模型结构,但包含相关标记,用来分隔语义元素以及对记录和字段进行分层。因此他也被成为自描述的结构。常见的半结构数据有:html,xml和json等、实际上是以树或者图的结构来存储的。

对于半结构化数据,节点中属性的顺序是不重要的,不同的半结构化数据的属性的个数是不一样的。这样的数据格式,可以自由的表达很多有用的信息,包含自描述信息。所以半结构化数据的扩展性很好,特别适合于在互联网中大规模传播。

3.非结构化数据
就是没有固定的结构。各种文档,图片,视频或者音频都属于非结构化数据。对于这类数据,我们一般直接整体进行存储,而且一般存储为二进制形式。

json数据

json(JavaScript Object Notation,JS对象标记)是一种轻量级的数据交换格式。他基于ECMAScript(w3c制定的JS规范)的一个子集,采用完全独立于编程语言的文本格式来存储和表示数据。简介和清晰的层次结构使得JSON成为理想的数据交换语言。

特点:易于阅读、易于机器生成、有效提升网络速度。
JSON语法规则:在JS语言中,一切都是对象。因此,任何支持的类型都可以通过json来表示。例如字符串、数字,对象,数组。

Js中对象和数组是比较特殊并且常用的两种类型:

  1. 对象表示为键值对{name:'zhangsan',age:'7'}
  2. 数据有逗号分隔[1,2,3,4,5]
  3. 花括号保存对象
  4. 方括号保存数组。

js的对象就相当于python中的字典
js的数组就相当于Python中的列表
因为json用来存储js的对象或者数组,所以在Python中我们可以将json转化为list或者dict。

解析json的包json:

json.dumps(python的list或者dict)---->(返回值)---->json字符串。
json.loads(json字符串)------>(返回值)----->python的list或者dict.

json.dump(list/dict,fp)—>list,或者字典保存到json文件中。
json.load(fp)—>list/dict:从json文件中读出json数据。

json键值对是用来保存js对象的一种方式,和js对象的写法页大同小异,比如:
{“firstName”:“Json”,“Class”:“aid1111”}等价于下面这条js语句:{firstName:“Json”,Class:“aid1111”}。

很多人搞不清楚json和js对象的关系,甚至谁是谁都不清楚。其实可以这么理解:
【JSON是JS对象的字符串表达式,他使用文本形式表示一个JS对象的信息,本质是一个字符串。】

如var obj = {a:“hello”,b:“World”}这是一个js对象。注意,键名也是可以用引号包裹的var json = ' {“a”:“hello”,“b”:“World”}'这是一个json字符串,本质上是一个字符串。

JSON作为数据包格式传输的时候具有更高的效率,这是因为JSON不想xml那样具有严格的闭合标签,这就让有效数据量与总数据包比大大提升,从而减少同等数据流量的情况下,网络的传输的压力大大减低。

Python 相关文章推荐
python实现rest请求api示例
Apr 22 Python
pip 错误unused-command-line-argument-hard-error-in-future解决办法
Jun 01 Python
python字典键值对的添加和遍历方法
Sep 11 Python
Python3.4实现远程控制电脑开关机
Feb 22 Python
Numpy中的mask的使用
Jul 21 Python
Python常见数据结构之栈与队列用法示例
Jan 14 Python
Python3安装Pillow与PIL的方法
Apr 03 Python
Python面向对象之继承和多态用法分析
Jun 08 Python
django在保存图像的同时压缩图像示例代码详解
Feb 11 Python
Python matplotlib修改默认字体的操作
Mar 05 Python
使用Pycharm在运行过程中,查看每个变量的操作(show variables)
Jun 08 Python
快速了解Python开发环境Spyder
Jun 29 Python
python re模块和正则表达式
Mar 24 #Python
opencv实现图像几何变换
PyQt QMainWindow的使用示例
Mar 24 #Python
PyQt 如何创建自定义QWidget
Mar 24 #Python
解决python 输出到csv 出现多空行的情况
opencv实现图像平移效果
python+selenium小米商城红米K40手机自动抢购的示例代码
You might like
如何批量替换相对地址为绝对地址(利用bat批处理实现)
2013/05/27 PHP
深入探讨<br />和 \r\n两者有什么区别??
2013/06/05 PHP
Zend Framework页面缓存实例
2014/06/25 PHP
PHP实现通过Luhn算法校验信用卡卡号是否有效
2015/03/23 PHP
Thinkphp单字母函数使用指南
2016/05/08 PHP
详解PHP中cookie和session的区别及cookie和session用法小结
2016/06/12 PHP
php 自定义错误日志实例详解
2016/11/12 PHP
基于PHP-FPM进程池探秘
2017/10/17 PHP
PHP实现简单用户登录界面
2019/10/23 PHP
php中yar框架实例用法讲解
2020/12/27 PHP
将json当数据库一样操作的javascript lib
2013/10/28 Javascript
浅谈JSON.stringify()和JOSN.parse()方法的不同
2016/08/29 Javascript
JSON 必知必会 观后记
2016/10/27 Javascript
Webpack如何引入bootstrap的方法
2017/06/17 Javascript
微信小程序如何实现全局重新加载
2019/06/05 Javascript
详解小程序BackgroundAudioManager踩坑之旅
2019/12/08 Javascript
Vue打包部署到Nginx时,css样式不生效的解决方式
2020/08/03 Javascript
[03:46]DOTA2英雄基础教程 维萨吉
2013/12/11 DOTA
python开启多个子进程并行运行的方法
2015/04/18 Python
Python 实现 贪吃蛇大作战 代码分享
2016/09/07 Python
基于python3监控服务器状态进行邮件报警
2019/10/19 Python
python多进程(加入进程池)操作常见案例
2019/10/21 Python
Pytorch 数据加载与数据预处理方式
2019/12/31 Python
解决python执行较大excel文件openpyxl慢问题
2020/05/15 Python
皮姆斯勒语言学习:Pimsleur Language Programs
2018/06/30 全球购物
英国羊绒服装购物网站:Pure Collection
2018/10/22 全球购物
英国领先的名牌服装折扣零售商:Brown Bag Clothing
2019/01/08 全球购物
护士自荐信
2013/10/25 职场文书
部门年终奖分配方案
2014/05/07 职场文书
家长建议怎么写
2014/05/15 职场文书
法院反腐倡廉心得体会
2014/09/09 职场文书
2014年党员评议表自我评价
2014/09/27 职场文书
暑期社会实践新闻稿
2015/07/17 职场文书
有关花店创业的计划书模板
2019/08/27 职场文书
pytorch通过训练结果的复现设置随机种子
2021/06/01 Python
Go并发4种方法简明讲解
2022/04/06 Golang