解决python3中的requests解析中文页面出现乱码问题


Posted in Python onApril 19, 2019

第一部分 关于requests库

(1) requests是一个很实用的Python HTTP客户端库,编写爬虫和测试服务器响应数据时经常会用到。

(2) 其中的Request对象在访问服务器后会返回一个Response对象,这个对象将返回的Http响应字节码保存到content属性中。

(3) 但是如果你访问另一个属性text时,会返回一个unicode对象,乱码问题就会常常发成在这里。

(4) 因为Response对象会通过另一个属性encoding来将字节码编码成unicode,而这个encoding属性居然是responses自己猜出来的。

第二部分 解决方法

所以要么你直接使用content(字节码),要么记得把encoding设置正确,比如我获取了一段gbk编码的网页,就需要以下方法才能得到正确的unicode。

import requests
url = "http://xxx.xxx.xxx"
response = requests.get(url)
response.encoding = 'gbk'
print(response.text)

总结

以上所述是小编给大家介绍的解决python3中的requests解析中文页面出现乱码问题,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
Python实现抓取网页并且解析的实例
Sep 20 Python
Python类定义和类继承详解
May 08 Python
全面了解python中的类,对象,方法,属性
Sep 11 Python
Python定时任务sched模块用法示例
Jul 16 Python
python中pika模块问题的深入探究
Oct 13 Python
python3+selenium自动化测试框架详解
Mar 17 Python
win8.1安装Python 2.7版环境图文详解
Jul 01 Python
基于MATLAB和Python实现MFCC特征参数提取
Aug 13 Python
Python实现自定义读写分离代码实例
Nov 16 Python
pandas to_excel 添加颜色操作
Jul 14 Python
python实现腾讯滑块验证码识别
Apr 27 Python
Pytest中skip和skipif的具体使用方法
Jun 30 Python
Python3中列表list合并的四种方法
Apr 19 #Python
局域网内python socket实现windows与linux间的消息传送
Apr 19 #Python
python定时按日期备份MySQL数据并压缩
Apr 19 #Python
Python实现 版本号对比功能的实例代码
Apr 18 #Python
Python网络爬虫之爬取微博热搜
Apr 18 #Python
python学习——内置函数、数据结构、标准库的技巧(推荐)
Apr 18 #Python
详解python 模拟豆瓣登录(豆瓣6.0)
Apr 18 #Python
You might like
php学习之变量的使用
2011/05/29 PHP
PHP+MYSQL会员系统的登陆即权限判断实现代码
2011/09/23 PHP
PHP 杂谈《重构-改善既有代码的设计》之三 重新组织数据
2012/04/09 PHP
编写PHP程序检查字符串中的中文字符个数的实例分享
2016/03/17 PHP
PHP实现的分页类定义与用法示例
2017/07/05 PHP
tp5.1 框架join方法用法实例分析
2020/05/26 PHP
JavaScript 组件之旅(一)分析和设计
2009/10/28 Javascript
img onload事件绑定各浏览器均可执行
2012/12/19 Javascript
jquery模拟LCD 时钟的html文件源代码
2014/06/16 Javascript
jQuery.parseJSON(json)将JSON字符串转换成js对象
2014/07/27 Javascript
JavaScript变量的作用域全解析
2015/08/14 Javascript
多功能jQuery树插件zTree实现权限列表简单实例
2016/07/12 Javascript
简单实现js选项卡切换效果
2017/02/09 Javascript
React Native 使用Fetch发送网络请求的示例代码
2017/12/02 Javascript
VUE实现可随意拖动的弹窗组件
2018/09/25 Javascript
Vue的v-model的几种修饰符.lazy,.number和.trim的用法说明
2020/08/05 Javascript
jQuery插件实现图片轮播效果
2020/10/19 jQuery
python读取TXT到数组及列表去重后按原来顺序排序的方法
2015/06/26 Python
Python语言描述最大连续子序列和
2017/12/05 Python
DES加密解密算法之python实现版(图文并茂)
2018/12/06 Python
python 搭建简单的http server,可直接post文件的实例
2019/01/03 Python
jupyter notebook 多环境conda kernel配置方式
2020/04/10 Python
python 实现两个线程交替执行
2020/05/02 Python
CSS3弹性盒模型开发笔记(二)
2016/04/26 HTML / CSS
加拿大领先的优质厨具产品在线购物网站:Golda’s Kitchen
2017/11/17 全球购物
意大利奢侈品综合电商网站:MODES
2019/12/14 全球购物
金属材料工程毕业生个人的自我评价
2013/11/28 职场文书
留学自荐信写作方法
2014/01/27 职场文书
作风建设年活动实施方案
2014/10/24 职场文书
2015幼儿园新学期寄语
2015/02/27 职场文书
新生儿未入户证明
2015/06/23 职场文书
MySQL中in和exists区别详解
2021/06/03 MySQL
教你用Python爬取英雄联盟皮肤原画
2021/06/13 Python
golang中的struct操作
2021/11/11 Golang
英镑符号 £
2022/02/17 杂记
Win11 22H2 2022怎么更新? 获得Win1122H22022版本升级技巧
2022/09/23 数码科技