解决python3中的requests解析中文页面出现乱码问题


Posted in Python onApril 19, 2019

第一部分 关于requests库

(1) requests是一个很实用的Python HTTP客户端库,编写爬虫和测试服务器响应数据时经常会用到。

(2) 其中的Request对象在访问服务器后会返回一个Response对象,这个对象将返回的Http响应字节码保存到content属性中。

(3) 但是如果你访问另一个属性text时,会返回一个unicode对象,乱码问题就会常常发成在这里。

(4) 因为Response对象会通过另一个属性encoding来将字节码编码成unicode,而这个encoding属性居然是responses自己猜出来的。

第二部分 解决方法

所以要么你直接使用content(字节码),要么记得把encoding设置正确,比如我获取了一段gbk编码的网页,就需要以下方法才能得到正确的unicode。

import requests
url = "http://xxx.xxx.xxx"
response = requests.get(url)
response.encoding = 'gbk'
print(response.text)

总结

以上所述是小编给大家介绍的解决python3中的requests解析中文页面出现乱码问题,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
把大数据数字口语化(python与js)两种实现
Feb 21 Python
Python标准库之循环器(itertools)介绍
Nov 25 Python
python关键字and和or用法实例
May 28 Python
Python中函数的参数传递与可变长参数介绍
Jun 30 Python
Python中Scrapy爬虫图片处理详解
Nov 29 Python
tensorflow建立一个简单的神经网络的方法
Feb 10 Python
PyQt5实现五子棋游戏(人机对弈)
Mar 24 Python
Python使用sqlalchemy模块连接数据库操作示例
Mar 13 Python
使用Python实现企业微信的自动打卡功能
Apr 30 Python
Python实现生成密码字典的方法示例
Sep 02 Python
让Django的BooleanField支持字符串形式的输入方式
May 20 Python
python数字图像处理:图像的绘制
Jun 28 Python
Python3中列表list合并的四种方法
Apr 19 #Python
局域网内python socket实现windows与linux间的消息传送
Apr 19 #Python
python定时按日期备份MySQL数据并压缩
Apr 19 #Python
Python实现 版本号对比功能的实例代码
Apr 18 #Python
Python网络爬虫之爬取微博热搜
Apr 18 #Python
python学习——内置函数、数据结构、标准库的技巧(推荐)
Apr 18 #Python
详解python 模拟豆瓣登录(豆瓣6.0)
Apr 18 #Python
You might like
php array_intersect比array_diff快(附详细的使用说明)
2011/07/03 PHP
基于OpenCart 开发支付宝,财付通,微信支付参数错误问题
2015/10/01 PHP
JavaScript静态的动态
2006/09/18 Javascript
javascript Discuz代码中的msn聊天小功能
2008/05/25 Javascript
使用SyntaxHighlighter实现HTML高亮显示代码的方法
2010/02/04 Javascript
JS Range HTML文档/文字内容选中、库及应用介绍
2011/05/12 Javascript
纯JS实现动态时间显示代码
2014/02/08 Javascript
JS常用字符串处理方法应用总结
2014/05/22 Javascript
浅谈js的setInterval事件
2014/12/05 Javascript
Node.js 制作实时多人游戏框架
2015/01/08 Javascript
JQuery记住用户名密码实现下次自动登录功能
2015/04/27 Javascript
jQuery实现类似老虎机滚动抽奖效果
2015/08/06 Javascript
window.onload使用指南
2015/09/13 Javascript
js仿支付宝填写支付密码效果实现多方框输入密码
2016/03/09 Javascript
BootStrap的table表头固定tbody滚动的实例代码
2016/08/24 Javascript
javascript基础知识讲解
2017/01/11 Javascript
基于axios 解决跨域cookie丢失的问题
2018/09/26 Javascript
基于Webpack4和React hooks搭建项目的方法
2019/02/05 Javascript
用原生 JS 实现 innerHTML 功能实例详解
2019/04/03 Javascript
Vue 使用formData方式向后台发送数据的实现
2019/04/14 Javascript
深入理解基于vue-cli的webpack打包优化实践及探索
2019/10/14 Javascript
使用Python的Scrapy框架十分钟爬取美女图
2016/12/26 Python
Python基于hashlib模块的文件MD5一致性加密验证示例
2018/02/10 Python
Python实现购物评论文本情感分析操作【基于中文文本挖掘库snownlp】
2018/08/07 Python
tensorflow 获取所有variable或tensor的name示例
2020/01/04 Python
python+excel接口自动化获取token并作为请求参数进行传参操作
2020/11/10 Python
python连接mongodb数据库操作数据示例
2020/11/30 Python
css3圆角边框和边框阴影示例
2014/05/05 HTML / CSS
CSS3实现swap交换动画
2016/01/19 HTML / CSS
HTML 5.1来了 9月份正式发布 更新内容预览
2016/04/26 HTML / CSS
美国维生素、补充剂、保健食品购物网站:Vitacost
2016/08/05 全球购物
PHP面试题及答案二
2015/05/23 面试题
2014端午节活动策划方案
2014/01/27 职场文书
服务之星事迹材料
2014/05/03 职场文书
村党建工作汇报材料
2014/11/02 职场文书
jdbc使用PreparedStatement批量插入数据的方法
2021/04/27 MySQL