python3中编码获取网页的实例方法


Posted in Python onNovember 16, 2020

学了python后,之前一些我们常用的方法,也可以换一种思路用python中的知识来解决。相信操作出来后,能收获一大批小粉丝们。就像我们没学习编程之前,看到那种大神都是可望而不可即。今天我们就之前简单获取网页的这种操作用python中的编码来解决,大家可以自行体会一下两者的不同。

1. encoding和apparent_encoding

import scrapy
url="https://www.xxx.net/html/gndy/dyzz/index.html"
re=requests.get(url)
#获取响应头Content-Type的charset值,有的网站没有charset字段,就可能使用默认的 ISO-8859-1
print(re.encoding)
#apparent_encoding就是获取网站真实的编码
print(re.apparent_encoding)

2. 处理方案

直接用r.encoding = ‘xxx'

re.encoding='utf-8'

3. requests的text() 跟 content() 有什么区别

re.text返回的是处理过的Unicode型的数据,

而使用re.content返回的是bytes型的原始数据。

4. 爬虫拿到的HTML和浏览器中的源码不相同时

通过下载源码对比

import requests
url = 'https://www.xxx.net/html/gndy/dyzz/index.html'
r = requests.get(url)
r.encoding = r.apparent_encoding
html = r.text
with open('test.html','w',encoding='utf8') as f:
f.write(html)

 python3中编码获取网页的实例方法

到此这篇关于python3中编码获取网页的实例方法的文章就介绍到这了,更多相关python3中编码如何获取网页内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
在Python3中使用asyncio库进行快速数据抓取的教程
Apr 02 Python
Python中不同进制互相转换(二进制、八进制、十进制和十六进制)
Apr 05 Python
Python松散正则表达式用法分析
Apr 29 Python
利用Python实现Windows定时关机功能
Mar 21 Python
使用python画个小猪佩奇的示例代码
Jun 06 Python
Python基于最小二乘法实现曲线拟合示例
Jun 14 Python
Python 类的私有属性和私有方法实例分析
Sep 29 Python
使用Python的Turtle库绘制森林的实例
Dec 18 Python
Python Numpy,mask图像的生成详解
Feb 19 Python
python3通过udp实现组播数据的发送和接收操作
May 05 Python
Python socket服务常用操作代码实例
Jun 22 Python
pyqt5 textEdit、lineEdit操作的示例代码
Aug 12 Python
Python3中小括号()、中括号[]、花括号{}的区别详解
Nov 15 #Python
Python根据URL地址下载文件并保存至对应目录的实现
Nov 15 #Python
python re的findall和finditer的区别详解
Nov 15 #Python
Python获取android设备cpu和内存占用情况
Nov 15 #Python
Python __slots__的使用方法
Nov 15 #Python
Python descriptor(描述符)的实现
Nov 15 #Python
基于OpenCV的网络实时视频流传输的实现
Nov 15 #Python
You might like
swfupload 多文件上传实现代码
2008/08/27 PHP
ThinkPHP 连接Oracle数据库的详细教程[全]
2012/07/16 PHP
使用php自动备份数据库表的实现方法
2017/07/28 PHP
layui数据表格自定义每页条数limit设置
2019/10/26 PHP
JavaScript 设计模式 富有表现力的Javascript(一)
2010/05/26 Javascript
jQuery实战之品牌展示列表效果
2011/04/10 Javascript
让checkbox不选中即将选中的checkbox不选中
2014/07/11 Javascript
jQuery实现HTML5 placeholder效果实例
2014/12/09 Javascript
js实现有时间限制消失的图片方法
2015/02/27 Javascript
利用10行js代码实现上下滚动公告效果
2017/12/08 Javascript
聊聊JS动画库 Velocity.js的使用
2018/03/13 Javascript
详解Vue用cmd创建项目
2019/02/12 Javascript
Vue实现导航栏的显示开关控制
2019/11/01 Javascript
vue图片裁剪插件vue-cropper使用方法详解
2020/12/16 Vue.js
[55:47]DOTA2上海特级锦标赛C组小组赛#2 LGD VS Newbee第三局
2016/02/27 DOTA
[04:14]从西雅图到上海——玩家自制DOTA2主题歌曲应援TI9
2019/07/11 DOTA
[32:30]夜魇凡尔赛茶话会 第一期01:谁是卧底
2021/03/11 DOTA
python基于mysql实现的简单队列以及跨进程锁实例详解
2014/07/07 Python
纯Python开发的nosql数据库CodernityDB介绍和使用实例
2014/10/23 Python
在Python中操作文件之read()方法的使用教程
2015/05/24 Python
python运行时间的几种方法
2016/06/17 Python
Python的装饰器用法学习笔记
2016/06/24 Python
获取python的list中含有重复值的index方法
2018/06/27 Python
Tensorflow实现神经网络拟合线性回归
2019/07/19 Python
Python 实现微信自动回复的方法
2020/09/11 Python
Python中读取文件名中的数字的实例详解
2020/12/25 Python
韩国演唱会订票网站:StubHub韩国
2019/01/17 全球购物
世界上最大的乐谱选择:Sheet Music Plus
2020/01/18 全球购物
乌克兰数字设备、配件和智能技术的连锁商店:KTC
2020/08/18 全球购物
如何使用PHP session
2015/04/21 面试题
酒店人事专员岗位职责
2013/12/19 职场文书
中国梦的演讲稿
2014/01/08 职场文书
电大毕业个人生自我鉴定
2014/03/26 职场文书
MySQL学习总结-基础架构概述
2021/04/05 MySQL
SQL模糊查询报:ORA-00909:参数个数无效问题的解决
2021/06/21 Oracle
详解python的异常捕获
2022/03/03 Python