python3中编码获取网页的实例方法


Posted in Python onNovember 16, 2020

学了python后,之前一些我们常用的方法,也可以换一种思路用python中的知识来解决。相信操作出来后,能收获一大批小粉丝们。就像我们没学习编程之前,看到那种大神都是可望而不可即。今天我们就之前简单获取网页的这种操作用python中的编码来解决,大家可以自行体会一下两者的不同。

1. encoding和apparent_encoding

import scrapy
url="https://www.xxx.net/html/gndy/dyzz/index.html"
re=requests.get(url)
#获取响应头Content-Type的charset值,有的网站没有charset字段,就可能使用默认的 ISO-8859-1
print(re.encoding)
#apparent_encoding就是获取网站真实的编码
print(re.apparent_encoding)

2. 处理方案

直接用r.encoding = ‘xxx'

re.encoding='utf-8'

3. requests的text() 跟 content() 有什么区别

re.text返回的是处理过的Unicode型的数据,

而使用re.content返回的是bytes型的原始数据。

4. 爬虫拿到的HTML和浏览器中的源码不相同时

通过下载源码对比

import requests
url = 'https://www.xxx.net/html/gndy/dyzz/index.html'
r = requests.get(url)
r.encoding = r.apparent_encoding
html = r.text
with open('test.html','w',encoding='utf8') as f:
f.write(html)

 python3中编码获取网页的实例方法

到此这篇关于python3中编码获取网页的实例方法的文章就介绍到这了,更多相关python3中编码如何获取网页内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
零基础写python爬虫之打包生成exe文件
Nov 06 Python
Python中操作文件之write()方法的使用教程
May 25 Python
Python 中Pickle库的使用详解
Feb 24 Python
Python实现的简单读写csv文件操作示例
Jul 12 Python
Python import与from import使用及区别介绍
Sep 06 Python
对Python的交互模式和直接运行.py文件的区别详解
Jun 29 Python
Python如何实现转换URL详解
Jul 02 Python
使用Python在Windows下获取USB PID&VID的方法
Jul 02 Python
python实现微信小程序用户登录、模板推送
Aug 28 Python
利用Python将图片中扭曲矩形的复原
Sep 07 Python
jupyter notebook快速入门及使用详解
Nov 13 Python
python三子棋游戏
May 04 Python
Python3中小括号()、中括号[]、花括号{}的区别详解
Nov 15 #Python
Python根据URL地址下载文件并保存至对应目录的实现
Nov 15 #Python
python re的findall和finditer的区别详解
Nov 15 #Python
Python获取android设备cpu和内存占用情况
Nov 15 #Python
Python __slots__的使用方法
Nov 15 #Python
Python descriptor(描述符)的实现
Nov 15 #Python
基于OpenCV的网络实时视频流传输的实现
Nov 15 #Python
You might like
PHP实现采集程序原理和简单示例代码
2007/03/18 PHP
PHP 异步执行方法,模拟多线程的应用分析
2013/06/03 PHP
jQuery弹出层插件简化版代码下载
2008/10/16 Javascript
javascript自动改变文字大小和颜色的效果的小例子
2013/08/02 Javascript
php的文件上传入门教程(实例讲解)
2014/04/10 Javascript
jquery实现侧边弹出的垂直导航
2014/12/09 Javascript
检测一个函数是否是JavaScript原生函数的小技巧
2015/03/13 Javascript
JavaScript给每一个li节点绑定点击事件的实现方法
2016/12/01 Javascript
微信小程序定义和调用全局变量globalData的实现
2019/11/01 Javascript
在Vue中获取自定义属性方法:data-id的实例
2020/09/09 Javascript
Python对List中的元素排序的方法
2018/04/01 Python
Django 重写用户模型的实现
2019/07/29 Python
python读取word 中指定位置的表格及表格数据
2019/10/23 Python
使用apiDoc实现python接口文档编写
2019/11/19 Python
Python类中self参数用法详解
2020/02/13 Python
pyqt5 QlistView列表显示的实现示例
2020/03/24 Python
Python导入模块包原理及相关注意事项
2020/03/25 Python
Pytorch框架实现mnist手写库识别(与tensorflow对比)
2020/07/20 Python
Python控制鼠标键盘代码实例
2020/12/08 Python
Auchan Direct波兰:欧尚在线杂货店
2016/10/19 全球购物
台湾旅游网站:雄狮旅游网
2017/08/16 全球购物
欧洲顶级体育电子商务网站:SportsShoes.com
2018/03/27 全球购物
维多利亚的秘密官方旗舰店:VICTORIA’S SECRET
2018/04/02 全球购物
台湾租车首选品牌:IWS艾维士租车
2019/05/03 全球购物
澳洲Chemist Direct药房中文网:澳洲大型线上直邮药房
2019/11/04 全球购物
高考自主招生自荐信
2013/10/20 职场文书
应届毕业生的个人自我鉴定
2013/10/24 职场文书
会计专业毕业生自荐信范文
2013/12/20 职场文书
怎样客观的做好自我评价
2013/12/28 职场文书
英语专业学生个人求职信
2014/01/28 职场文书
开展党的群众路线教育实践活动剖析材料
2014/10/13 职场文书
红灯733-1型14管5波段半导体收音机
2021/04/22 无线电
MySQL深度分页(千万级数据量如何快速分页)
2021/07/25 MySQL
分布式Redis Cluster集群搭建与Redis基本用法
2022/02/24 Redis
SpringBoot集成MongoDB实现文件上传的步骤
2022/04/18 MongoDB
基于Android10渲染Surface的创建过程
2022/08/14 Java/Android