Python chardet库识别编码原理解析


Posted in Python onFebruary 18, 2020

这篇文章主要介绍了python chardet库识别编码原理解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

chardet库是python的字符编码检测器,能够检测出各种编码的类型,例如:

import chardet
import urllib.request
 
testdata = urllib.request.urlopen('http://m2.cn.bing.com/').read()
print(chardet.detect(testdata))

运行结果:

{'confidence': 0.99, 'encoding': 'utf-8'}

翻译一下就是:

{'精准度': 99%, 'encoding(编码形式)': 'utf-8'}

没见识到这个库之前所有编码纯属自己的记忆:

# unicode_escape
\u4e2d\u56fd
# gbk或者utf-8
\xd6\xd0\xb9\xfa
中国
# urlencode
%e4%b8%ad%e5%9b%bd
# Gb2312
%d6%d0%b9%fa

这些编码纯属需要眼睛辨认再去网上查找编码,现在发现了chardet这个库后方便了很多

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
用Python程序抓取网页的HTML信息的一个小实例
May 02 Python
Python增量循环删除MySQL表数据的方法
Sep 23 Python
详细解读tornado协程(coroutine)原理
Jan 15 Python
flask中使用蓝图将路由分开写在不同文件实例解析
Jan 19 Python
Python 16进制与中文相互转换的实现方法
Jul 09 Python
python如何保证输入键入数字的方法
Aug 23 Python
python 实现turtle画图并导出图片格式的文件
Dec 07 Python
Python如何获取Win7,Win10系统缩放大小
Jan 10 Python
Python计算公交发车时间的完整代码
Feb 12 Python
Python通过正则库爬取淘宝商品信息代码实例
Mar 02 Python
python 下载文件的几种方法汇总
Jan 06 Python
python 获取计算机的网卡信息
Feb 18 Python
解决pytorch-yolov3 train 报错的问题
Feb 18 #Python
利用PyQt中的QThread类实现多线程
Feb 18 #Python
python 对任意数据和曲线进行拟合并求出函数表达式的三种解决方案
Feb 18 #Python
Python识别html主要文本框过程解析
Feb 18 #Python
pytorch实现seq2seq时对loss进行mask的方式
Feb 18 #Python
python多项式拟合之np.polyfit 和 np.polyld详解
Feb 18 #Python
tensorflow 分类损失函数使用小记
Feb 18 #Python
You might like
PHP中文汉字验证码
2007/04/08 PHP
php打造属于自己的MVC框架
2012/03/07 PHP
PHP 第二节 数据类型之转换
2012/04/28 PHP
解析offsetHeight,clientHeight,scrollHeight之间的区别
2013/11/20 Javascript
jquery实现tr元素的上下移动示例代码
2013/12/20 Javascript
ListBox实现上移,下移,左移,右移的简单实例
2014/02/13 Javascript
有关json_decode乱码及NULL的问题
2015/10/13 Javascript
举例讲解如何判断JavaScript中对象的类型
2016/04/22 Javascript
基于MVC+EasyUI的web开发框架之使用云打印控件C-Lodop打印页面或套打报关运单信息
2016/08/29 Javascript
js创建对象几种方式的优缺点对比
2016/09/28 Javascript
如何实现json数据可视化详解
2016/11/24 Javascript
如何学JavaScript?前辈的经验之谈
2016/12/28 Javascript
BootStrap Fileinput插件和Bootstrap table表格插件相结合实现文件上传、预览、提交的导入Excel数据操作步骤
2017/08/07 Javascript
javascript回调函数详解
2018/02/06 Javascript
JavaScript中变量、指针和引用功能与操作示例
2018/08/04 Javascript
Angular6 用户自定义标签开发的实现方法
2019/01/08 Javascript
JQuery常用简单动画操作方法回顾与总结
2019/12/07 jQuery
[01:30]我们共输赢 完美世界城市挑战赛开启全新赛季
2019/04/19 DOTA
利用Python的Django框架生成PDF文件的教程
2015/07/22 Python
Python监控主机是否存活并以邮件报警
2015/09/22 Python
Python绘制并保存指定大小图像的方法
2019/01/10 Python
Pyqt5 基本界面组件之inputDialog的使用
2019/06/25 Python
利用Python校准本地时间的方法教程
2019/10/31 Python
Python基于pandas爬取网页表格数据
2020/05/11 Python
使用豆瓣源来安装python中的第三方库方法
2021/01/26 Python
CSS3教程(10):CSS3 HSL声明设置颜色
2009/04/02 HTML / CSS
ECCO俄罗斯官网:北欧丹麦鞋履及皮具品牌
2020/06/26 全球购物
自我评价如何写好?
2014/01/05 职场文书
实习会计求职自荐信范文
2014/03/10 职场文书
银行主办会计岗位职责
2014/08/13 职场文书
法人单位授权委托书范文
2014/10/06 职场文书
2015年妇幼卫生工作总结
2015/05/23 职场文书
实习单位鉴定意见
2015/06/04 职场文书
教师考核鉴定意见
2015/06/05 职场文书
食品安全主题班会
2015/08/13 职场文书
python numpy中setdiff1d的用法说明
2021/04/22 Python