python接口自动化(十七)--Json 数据处理---一次爬坑记(详解)


Posted in Python onApril 18, 2019

简介

有些 post 的请求参数是 json 格式的,这个前面发送post 请求里面提到过,需要导入 json模块处理。现在企业公司一般常见的接口因为json数据容易处理,所以绝大多数返回数据也是 json 格式的,我们在做判断时候,往往只需要提取其中

几个关键的参数就行,这时候我们就需要 json 来解析返回的数据了。首先来说一下笔者为何要单独写这么一篇,原因是:python 里面 bool 值是 True 和 False,json 里面 bool 值是 true和 false,并且区分大小写,这就尴尬了,明明都是 bool 值。

在python里面写的代码,传到json里,不用说肯定识别不了,所以需要把python的代码经过encode后成为 json 可识别的数据类型,反之json数据就需要decode后成为python代码可识别的数据类型。这个也是需要初学者注意,也算是个细微差和

一个坑人的地方吧,如果不注意很容易掉坑里啊。笔者就掉进去过,还好自救能力强,爬出来了,所以为了警醒后来者,就有了这篇随笔。

json 模块简介

1、Json 简介:Json,全名 JavaScript Object Notation,JSON(JavaScript Object Notation(记号、标记))是一种轻量级的数据交换格式。它基于JavaScript(Standard ECMA-262 3rd Edition - December 1999)的一个子集。JSON采用完全独立

于语言的文本格式,但是也使用了类似于C语言家族的习惯(包括C, C++, C#, Java, JavaScript, Perl, Python等)。这些特性使JSON成为理想的数据交换语言。JSON易于人阅读和编写,同时也易于机器解析和生成。常用于 http 请求中,接口

返回的数据中。

2、可以用 help(json),查看对应的源码注释内容

python接口自动化(十七)--Json 数据处理---一次爬坑记(详解)

编码Encode(python->json)

1、为什么要 encode,笔者在开头就给各位小伙伴开门见山的说出来了,让各位带着问题来探索、来学习、来思考

2、举个简单例子,下图的实例中 dict 类型经过 json.dumps()后变成 str,True 变成了 true,False变成了 fasle

python接口自动化(十七)--Json 数据处理---一次爬坑记(详解)

3、从json模块的对应源码中可以查看到,python 数据转化成 json可识别的数据,对应的表关系如下

python接口自动化(十七)--Json 数据处理---一次爬坑记(详解)

解码 decode(json->python)

1、以博客园的登录成功结果:{"success":True}为例,我们其实最想知道的是 success 这个字段返回的是 True 还是 False,以便于我们对接口进行断言,以下是fiddler抓包博客园登录成功的结果

python接口自动化(十七)--Json 数据处理---一次爬坑记(详解)

2、如果以 content 字节输出,返回的是一个字符串:{"success":true},这样获取后面那个结果就不方便了,导致断言也不方便

3、如果经过 json 解码后,返回的就是一个字典:{u'success': True},这样获取后面那个结果,就用字典的方式去取值:result2["success"],这样不言而喻断言也就简单方便了

4、由于博客园的登录机制的改变,我们这里接着上一篇的删除随笔的返回结果,给小伙伴们实战演练一下

5、用fiddler抓包,抓到删除新建随笔的请求,从抓包结果可以看出,返回结果是一个字符串:{"isSuccess":True},按照上边的步骤用代码实现

python接口自动化(十七)--Json 数据处理---一次爬坑记(详解)

6、代码及结果(看到了吧,就是这么轻松被我们取到其value了,接下来就可以进行断言了)

python接口自动化(十七)--Json 数据处理---一次爬坑记(详解)

7、从json模块的对应源码中可以查看到, json 数据转化成 python 可识别的数据,对应的表关系如下

python接口自动化(十七)--Json 数据处理---一次爬坑记(详解)

8、参考代码

# coding:utf-8
import requests
# 先打开登录首页,获取部分cookie
url = "https://passport.cnblogs.com/user/signin"
headers = {
      "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64; rv:44.0) Gecko/20100101 Firefox/44.0"
      } # get方法其它加个ser-Agent就可以了
s = requests.session()
r = s.get(url, headers=headers,verify=False)
print (s.cookies)
# 添加登录需要的两个cookie
c = requests.cookies.RequestsCookieJar()
c.set('.CNBlogsCookie', 'XXX') # 填上面抓包内容
c.set('.Cnblogs.AspNetCore.Cookies','XXX') # 填上面抓包内容
c.set('AlwaysCreateItemsAsActive',"True")
c.set('AdminCookieAlwaysExpandAdvanced',"True")
s.cookies.update(c)
print (s.cookies)
result = r.content
print(result.decode('utf-8'))
# 登录成功后保存编辑内容
url2= "https://i.cnblogs.com/EditPosts.aspx?opt=1"
body = {"__VIEWSTATE": "",
    "__VIEWSTATEGENERATOR":"FE27D343",
    "Editor$Edit$txbTitle":"这是绕过登录的标题:北京-宏哥",
    "Editor$Edit$EditorBody":"<p>这里是中文内容:http://www.cnblogs.com/duhong/</p>",
    "Editor$Edit$Advanced$ckbPublished":"on",
    "Editor$Edit$Advanced$chkDisplayHomePage":"on",
    "Editor$Edit$Advanced$chkComments":"on",
    "Editor$Edit$Advanced$chkMainSyndication":"on",
    "Editor$Edit$lkbDraft":"存为草稿",
     }
r2 = s.post(url2, data=body, verify=False)
print (r.content.decode('utf-8'))

# 第三步:正则提取需要的参数值
import re
postid = re.findall(r"postid=(.+?)&", r2.url)
print(type(postid))
print (postid) # 这里是 list
# 提取为字符串
print (postid[0])
# 第四步:删除草稿箱
url3 = "https://i.cnblogs.com/post/delete"
json3 = {"postId": postid[0]}
r3 = s.post(url3, json=json3, verify=False)
result = r3.content #content数据是字节输出
print(type(result))
print(result)
#json是经过加码encode成对应python的数据类型
result1 = r3.json()
print (type(result1))
print(result1['isSuccess'])

小结

在实际工作中遇到问题要学会查资料,看其对应的官方文档以及源码,不仅可以起到事半功倍的作用,也可以锻炼自己解决问题的能力。这一点笔者深有体会!!!

以上所述是小编给大家介绍的python Json 数据处理详解整合,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!

Python 相关文章推荐
简单介绍Python中的几种数据类型
Jan 02 Python
Python生成密码库功能示例
May 23 Python
Python使用QRCode模块生成二维码实例详解
Jun 14 Python
python3实现爬取淘宝美食代码分享
Sep 23 Python
Python Pandas批量读取csv文件到dataframe的方法
Oct 08 Python
Python实现的栈、队列、文件目录遍历操作示例
May 06 Python
python 实现查找文件并输出满足某一条件的数据项方法
Jun 12 Python
Pandas之Fillna填充缺失数据的方法
Jun 25 Python
django使用JWT保存用户登录信息
Apr 22 Python
Win10用vscode打开anaconda环境中的python出错问题的解决
May 25 Python
Python+unittest+requests+excel实现接口自动化测试框架
Dec 23 Python
Python 虚拟环境工作原理解析
Dec 24 Python
详解python数据结构和算法
Apr 18 #Python
python基础知识(一)变量与简单数据类型详解
Apr 17 #Python
关于python多重赋值的小问题
Apr 17 #Python
详解python3安装pillow后报错没有pillow模块以及没有PIL模块问题解决
Apr 17 #Python
一步步教你用python的scrapy编写一个爬虫
Apr 17 #Python
Python中如何导入类示例详解
Apr 17 #Python
Linux上使用Python统计每天的键盘输入次数
Apr 17 #Python
You might like
深入PHP5中的魔术方法详解
2013/06/17 PHP
PHP使用内置函数file_put_contents写入文件及追加内容的方法
2015/12/07 PHP
PHP实现带进度条的Ajax文件上传功能示例
2019/07/02 PHP
Javascript实例教程(19) 使用HoTMetal(1)
2006/12/23 Javascript
JavaScript触发器详解
2007/03/10 Javascript
javascript 动态生成私有变量访问器
2009/12/06 Javascript
JavaScript常用全局属性与方法记录积累
2013/07/03 Javascript
Js中的onblur和onfocus事件应用介绍
2013/08/27 Javascript
jquery ajax 局部刷新小案例
2014/02/08 Javascript
javascript正则表达式使用replace()替换手机号的方法
2015/01/19 Javascript
jQuery源码分析之Callbacks详解
2015/03/13 Javascript
jQuery插件bxSlider实现响应式焦点图
2015/04/12 Javascript
学习使用jquery iScroll.js移动端滚动条插件
2020/03/24 Javascript
javascript实现列表切换效果
2016/05/02 Javascript
深入理解Node.js的HTTP模块
2016/10/12 Javascript
Vue.js绑定HTML class数组语法错误的原因分析
2016/10/19 Javascript
js实现密码强度检验
2017/01/15 Javascript
JavaScript设计模式之装饰者模式实例详解
2019/01/17 Javascript
基于JS实现web端录音与播放功能
2019/04/17 Javascript
jQuery删除/清空指定元素的所有子节点实例代码
2019/07/04 jQuery
vue跳转页面的几种方法(推荐)
2020/03/26 Javascript
[10:54]Team Spirit vs Navi
2018/06/07 DOTA
跟老齐学Python之网站的结构
2014/10/24 Python
Python中的元类编程入门指引
2015/04/15 Python
Django ORM框架的定时任务如何使用详解
2017/10/19 Python
Python 多线程其他属性以及继承Thread类详解
2019/08/28 Python
wxpython实现按钮切换界面的方法
2019/11/19 Python
python每5分钟从kafka中提取数据的例子
2019/12/23 Python
opencv 图像滤波(均值,方框,高斯,中值)
2020/07/08 Python
2014自荐信的写作技巧
2014/01/28 职场文书
认识深刻的检讨书
2014/02/16 职场文书
预备党员自我批评思想汇报
2014/10/10 职场文书
学校工会工作总结2015
2015/05/19 职场文书
小兵张嘎电影观后感
2015/06/03 职场文书
教育读书笔记
2015/07/02 职场文书
浅析MySQL如何实现事务隔离
2021/06/26 MySQL