Python chardet库识别编码原理解析


Posted in Python onFebruary 18, 2020

这篇文章主要介绍了python chardet库识别编码原理解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

chardet库是python的字符编码检测器,能够检测出各种编码的类型,例如:

import chardet
import urllib.request
 
testdata = urllib.request.urlopen('http://m2.cn.bing.com/').read()
print(chardet.detect(testdata))

运行结果:

{'confidence': 0.99, 'encoding': 'utf-8'}

翻译一下就是:

{'精准度': 99%, 'encoding(编码形式)': 'utf-8'}

没见识到这个库之前所有编码纯属自己的记忆:

# unicode_escape
\u4e2d\u56fd
# gbk或者utf-8
\xd6\xd0\xb9\xfa
中国
# urlencode
%e4%b8%ad%e5%9b%bd
# Gb2312
%d6%d0%b9%fa

这些编码纯属需要眼睛辨认再去网上查找编码,现在发现了chardet这个库后方便了很多

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
在Python的Django框架的视图中使用Session的方法
Jul 23 Python
使用Python编写基于DHT协议的BT资源爬虫
Mar 19 Python
Python 专题六 局部变量、全局变量global、导入模块变量
Mar 20 Python
Python制作刷网页流量工具
Apr 23 Python
python处理csv数据动态显示曲线实例代码
Jan 23 Python
Python数据分析之双色球统计单个红和蓝球哪个比例高的方法
Feb 03 Python
python按行读取文件,去掉每行的换行符\n的实例
Apr 19 Python
python dataframe常见操作方法:实现取行、列、切片、统计特征值
Jun 09 Python
python 进程间数据共享multiProcess.Manger实现解析
Sep 23 Python
python使用python-pptx删除ppt某页实例
Feb 14 Python
scrapy爬虫:scrapy.FormRequest中formdata参数详解
Apr 30 Python
Numpy数组的广播机制的实现
Nov 03 Python
解决pytorch-yolov3 train 报错的问题
Feb 18 #Python
利用PyQt中的QThread类实现多线程
Feb 18 #Python
python 对任意数据和曲线进行拟合并求出函数表达式的三种解决方案
Feb 18 #Python
Python识别html主要文本框过程解析
Feb 18 #Python
pytorch实现seq2seq时对loss进行mask的方式
Feb 18 #Python
python多项式拟合之np.polyfit 和 np.polyld详解
Feb 18 #Python
tensorflow 分类损失函数使用小记
Feb 18 #Python
You might like
php stripslashes和addslashes的区别
2014/02/03 PHP
详解PHP实现异步调用的4种方法
2016/03/14 PHP
Zend Framework框架Smarty扩展实现方法
2016/03/22 PHP
php 常用的系统函数
2017/02/07 PHP
Thinkphp5结合layer弹窗定制操作结果页面
2017/07/07 PHP
PHP微信公众号开发之微信红包实现方法分析
2017/07/14 PHP
如何解决PHP获取不到SESSION信息之一般情况
2019/10/10 PHP
Javascript 网页黑白效果实现代码(兼容IE/FF等)
2010/04/23 Javascript
jQeury淡入淡出需要注意的问题
2010/09/08 Javascript
JS中Iframe之间传值及子页面与父页面应用
2013/03/11 Javascript
下拉列表选择项的选中在不同浏览器中的兼容性问题探讨
2013/09/18 Javascript
js实现回放拖拽轨迹从过程上进行分析
2014/06/26 Javascript
深入理解JavaScript系列(40):设计模式之组合模式详解
2015/03/04 Javascript
javascript下拉框选项单击事件的例子分享
2015/03/04 Javascript
JavaScript显示表单内元素数量的方法
2015/04/02 Javascript
JS正则匹配URL网址的方法(可匹配www,http开头的一切网址)
2017/01/06 Javascript
javascript数据类型详解
2017/02/07 Javascript
Angular中实现树形结构视图实例代码
2017/05/05 Javascript
利用JavaScript的%做隔行换色的实例
2017/11/25 Javascript
Angular实现的table表格排序功能完整示例
2017/12/22 Javascript
mpvue将vue项目转换为小程序
2018/09/30 Javascript
使用rollup打包JS的方法步骤
2018/12/05 Javascript
微信小程序生成二维码的示例代码
2019/03/29 Javascript
简单了解vue中的v-if和v-show的区别
2019/10/08 Javascript
对python读写文件去重、RE、set的使用详解
2018/12/11 Python
pytorch使用Variable实现线性回归
2019/05/21 Python
深入了解python中元类的相关知识
2019/08/29 Python
使用Python实现正态分布、正态分布采样
2019/11/20 Python
使用pyshp包进行shapefile文件修改的例子
2019/12/06 Python
Django多个app urls配置代码实例
2020/11/26 Python
英国助听器购物网站:Hearing Direct
2018/08/21 全球购物
植村秀加拿大官网:Shu Uemura加拿大
2019/09/03 全球购物
2015年幼儿园班主任个人工作总结
2015/10/22 职场文书
golang中的空接口使用详解
2021/03/30 Python
oracle覆盖导入dmp文件的2种方法
2021/05/21 Oracle
postgreSQL数据库基础知识介绍
2022/04/12 PostgreSQL