python3中编码获取网页的实例方法


Posted in Python onNovember 16, 2020

学了python后,之前一些我们常用的方法,也可以换一种思路用python中的知识来解决。相信操作出来后,能收获一大批小粉丝们。就像我们没学习编程之前,看到那种大神都是可望而不可即。今天我们就之前简单获取网页的这种操作用python中的编码来解决,大家可以自行体会一下两者的不同。

1. encoding和apparent_encoding

import scrapy
url="https://www.xxx.net/html/gndy/dyzz/index.html"
re=requests.get(url)
#获取响应头Content-Type的charset值,有的网站没有charset字段,就可能使用默认的 ISO-8859-1
print(re.encoding)
#apparent_encoding就是获取网站真实的编码
print(re.apparent_encoding)

2. 处理方案

直接用r.encoding = ‘xxx'

re.encoding='utf-8'

3. requests的text() 跟 content() 有什么区别

re.text返回的是处理过的Unicode型的数据,

而使用re.content返回的是bytes型的原始数据。

4. 爬虫拿到的HTML和浏览器中的源码不相同时

通过下载源码对比

import requests
url = 'https://www.xxx.net/html/gndy/dyzz/index.html'
r = requests.get(url)
r.encoding = r.apparent_encoding
html = r.text
with open('test.html','w',encoding='utf8') as f:
f.write(html)

 python3中编码获取网页的实例方法

到此这篇关于python3中编码获取网页的实例方法的文章就介绍到这了,更多相关python3中编码如何获取网页内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
实例讲解Python中的私有属性
Aug 21 Python
python中实现php的var_dump函数功能
Jan 21 Python
Python Sleep休眠函数使用简单实例
Feb 02 Python
以911新闻为例演示Python实现数据可视化的教程
Apr 23 Python
python简单实现操作Mysql数据库
Jan 29 Python
Python中的heapq模块源码详析
Jan 08 Python
关于python下cv.waitKey无响应的原因及解决方法
Jan 10 Python
Django自定义模板过滤器和标签的实现方法
Aug 21 Python
Python利用Pillow(PIL)库实现验证码图片的全过程
Oct 04 Python
Python可以用来做什么
Nov 23 Python
python 实现控制鼠标键盘
Nov 27 Python
详解pytorch创建tensor函数
Mar 22 Python
Python3中小括号()、中括号[]、花括号{}的区别详解
Nov 15 #Python
Python根据URL地址下载文件并保存至对应目录的实现
Nov 15 #Python
python re的findall和finditer的区别详解
Nov 15 #Python
Python获取android设备cpu和内存占用情况
Nov 15 #Python
Python __slots__的使用方法
Nov 15 #Python
Python descriptor(描述符)的实现
Nov 15 #Python
基于OpenCV的网络实时视频流传输的实现
Nov 15 #Python
You might like
农民C键的运用技巧
2020/03/04 星际争霸
分享一个PHP数据流应用的简单例子
2012/06/01 PHP
php中文乱码怎么办如何让浏览器自动识别utf-8
2014/01/15 PHP
php cookie工作原理与实例详解
2016/07/18 PHP
示例详解Laravel重置密码代码重构
2016/08/10 PHP
解决form中action属性后面?传递参数 获取不到的问题
2017/07/21 PHP
javascript之水平横向滚动歌词同步的应用
2007/05/07 Javascript
基于jQuery的js分页代码
2010/06/10 Javascript
在jQuery ajax中按钮button和submit的区别分析
2012/10/07 Javascript
js数组循环遍历数组内所有元素的方法
2014/01/18 Javascript
JavaScript字符串对象charAt方法入门实例(用于取得指定位置的字符)
2014/10/17 Javascript
jquery制作LED 时钟特效
2015/02/01 Javascript
Jquery中的$.each获取各种返回类型数据的使用方法
2015/05/03 Javascript
Jquery动态添加输入框的方法
2015/05/29 Javascript
js实现Form栏显示全格式时间时钟效果代码
2015/08/19 Javascript
JS实现仿雅虎首页快捷登录入口及导航模块效果
2015/09/19 Javascript
JavaScript判断手机号运营商是移动、联通、电信还是其他(代码简单)
2015/09/25 Javascript
逐一介绍Jquery data()、Jquery stop()、jquery delay()函数(详)
2015/11/04 Javascript
JavaScript 巧学巧用
2017/05/23 Javascript
详谈for循环里面的break和continue语句
2017/07/20 Javascript
jQuery niceScroll滚动条错位问题的解决方法
2018/02/03 jQuery
基于vue cli 通过命令行传参实现多环境配置
2018/07/12 Javascript
vuex实现的简单购物车功能示例
2019/02/13 Javascript
Vue CLI3.0中使用jQuery和Bootstrap的方法
2019/02/28 jQuery
详解javascript函数写法大全
2019/03/25 Javascript
[27:02]2014 DOTA2国际邀请赛中国区预选赛 5 23 CIS VS LGD第三场
2014/05/24 DOTA
实例解析Python的Twisted框架中Deferred对象的用法
2016/05/25 Python
详解python并发获取snmp信息及性能测试
2017/03/27 Python
python使用socket实现的传输demo示例【基于TCP协议】
2019/09/24 Python
使用Nibabel库对nii格式图像的读写操作
2020/07/01 Python
IE兼容css3圆角的实现代码
2011/07/21 HTML / CSS
可以随进度显示不同颜色的css3进度条分享
2014/04/11 HTML / CSS
Bailey帽子官方商店:Bailey Hats
2018/09/25 全球购物
应届生自我鉴定
2013/12/11 职场文书
工作人员思想汇报
2014/01/09 职场文书
助学贷款贫困证明
2014/09/23 职场文书