python处理中文编码和判断编码示例


Posted in Python onFebruary 26, 2014

下面所说的都是针对python2.7

#coding:utf-8
#chardet 需要下载安装
import chardet
#抓取网页html
line = "http://www.***.com"
html_1 = urllib2.urlopen(line,timeout=120).read()
#print html_1
encoding_dict = chardet.detect(html_1)
#print encoding
web_encoding = encoding_dict['encoding']
if web_encoding == 'utf-8' or web_encoding == 'UTF-8':
  html = html_1
else :
   html = html_1.decode('gbk','ignore').encode('utf-8')
#有以上处理,整个html就不会是乱码。
Python 相关文章推荐
Python竟能画这么漂亮的花,帅呆了(代码分享)
Nov 15 Python
Python设计模式之中介模式简单示例
Jan 09 Python
代码讲解Python对Windows服务进行监控
Feb 11 Python
python自动化报告的输出用例详解
May 30 Python
python使用Turtle库绘制动态钟表
Nov 19 Python
python3中eval函数用法使用简介
Aug 02 Python
简单介绍python封装的基本知识
Aug 10 Python
python爬取百度贴吧前1000页内容(requests库面向对象思想实现)
Aug 10 Python
Python3 pywin32模块安装的详细步骤
May 26 Python
小白教你PyCharm从下载到安装再到科学使用PyCharm2020最新激活码
Sep 25 Python
python3使用diagrams绘制架构图的步骤
Apr 08 Python
Python Matplotlib库实现画局部图
Nov 17 Python
python实现网页链接提取的方法分享
Feb 25 #Python
python3模拟百度登录并实现百度贴吧签到示例分享(百度贴吧自动签到)
Feb 24 #Python
python实现socket客户端和服务端简单示例
Feb 24 #Python
python抓取网页内容示例分享
Feb 24 #Python
使用python装饰器验证配置文件示例
Feb 24 #Python
python通过urllib2爬网页上种子下载示例
Feb 24 #Python
python控制台显示时钟的示例
Feb 24 #Python
You might like
用缓存实现静态页面的测试
2006/12/06 PHP
PHP命令行脚本接收传入参数的三种方式
2014/08/20 PHP
JS打开新窗口的2种方式
2013/04/18 Javascript
浅谈JavaScript中定义变量时有无var声明的区别
2014/08/18 Javascript
一个jquery实现的不错的多行文字图片滚动效果
2014/09/28 Javascript
Jsonp post 跨域方案
2015/07/06 Javascript
jQuery插件开发精品教程让你的jQuery提升一个台阶
2016/01/27 Javascript
JS实现把鼠标放到链接上出现滚动文字的方法
2016/04/06 Javascript
AngularJS 入门教程之HTML DOM实例详解
2016/07/28 Javascript
JS中script标签defer和async属性的区别详解
2016/08/12 Javascript
jQuery中show与hide方法用法示例
2016/09/16 Javascript
jquery实时获取时间的简单实例
2017/01/26 Javascript
BootStrap的两种模态框方式
2017/05/10 Javascript
JS SetInterval 代码实现页面轮询
2017/08/11 Javascript
ES6基础之展开语法(Spread syntax)
2019/02/21 Javascript
微信小程序结合mock.js实现后台模拟及调试
2019/03/28 Javascript
原生js基于canvas实现一个简单的前端截图工具代码实例
2019/09/10 Javascript
微信小程序scroll-view隐藏滚动条的方法详解
2020/03/25 Javascript
JS快速实现简单计算器
2020/04/08 Javascript
全面解读Python Web开发框架Django
2014/06/30 Python
python逆向入门教程
2018/01/15 Python
Django中针对基于类的视图添加csrf_exempt实例代码
2018/02/11 Python
python爬虫获取淘宝天猫商品详细参数
2020/06/23 Python
python实现远程控制电脑
2019/05/23 Python
Python转换字典成为对象,可以用"."方式访问对象属性实例
2020/05/11 Python
深入浅析HTML5中的article和section的区别
2018/05/15 HTML / CSS
阿联酋航空假期:Emirates Holidays
2018/03/20 全球购物
物业管理求职自荐信
2013/09/25 职场文书
销售心得体会
2014/01/02 职场文书
电子信息专业自荐书
2014/02/04 职场文书
2015年教研室工作总结范文
2015/05/23 职场文书
法人身份证明书
2015/06/18 职场文书
给校长的建议书作文500字
2015/09/14 职场文书
优秀乡村医生事迹材料(2016精选版)
2016/02/29 职场文书
详解Python requests模块
2021/06/21 Python
Pytest中skip skipif跳过用例详解
2021/06/30 Python