python处理中文编码和判断编码示例


Posted in Python onFebruary 26, 2014

下面所说的都是针对python2.7

#coding:utf-8
#chardet 需要下载安装
import chardet
#抓取网页html
line = "http://www.***.com"
html_1 = urllib2.urlopen(line,timeout=120).read()
#print html_1
encoding_dict = chardet.detect(html_1)
#print encoding
web_encoding = encoding_dict['encoding']
if web_encoding == 'utf-8' or web_encoding == 'UTF-8':
  html = html_1
else :
   html = html_1.decode('gbk','ignore').encode('utf-8')
#有以上处理,整个html就不会是乱码。
Python 相关文章推荐
用Python编写一个国际象棋AI程序
Nov 28 Python
Python里disconnect UDP套接字的方法
Apr 23 Python
python 查找文件名包含指定字符串的方法
Jun 05 Python
Python 获取主机ip与hostname的方法
Dec 17 Python
Python实现二维曲线拟合的方法
Dec 29 Python
Tensorflow模型实现预测或识别单张图片
Jul 19 Python
numpy创建单位矩阵和对角矩阵的实例
Nov 29 Python
python标准库os库的函数介绍
Feb 12 Python
python实现字符串和数字拼接
Mar 02 Python
python多线程实现同时执行两个while循环的操作
May 02 Python
Django之富文本(获取内容,设置内容方式)
May 21 Python
用python基于appium模块开发一个自动收取能量的小助手
Sep 25 Python
python实现网页链接提取的方法分享
Feb 25 #Python
python3模拟百度登录并实现百度贴吧签到示例分享(百度贴吧自动签到)
Feb 24 #Python
python实现socket客户端和服务端简单示例
Feb 24 #Python
python抓取网页内容示例分享
Feb 24 #Python
使用python装饰器验证配置文件示例
Feb 24 #Python
python通过urllib2爬网页上种子下载示例
Feb 24 #Python
python控制台显示时钟的示例
Feb 24 #Python
You might like
php mssql 数据库分页SQL语句
2008/12/16 PHP
关于PHP模板Smarty的初级使用方法以及心得分享
2013/06/21 PHP
PHP解析RSS的方法
2015/03/05 PHP
PHP常用设计模式之委托设计模式
2016/02/13 PHP
Apache无法自动跳转却显示目录的解决方法
2020/11/30 PHP
老生常谈php中传统验证与thinkphp框架(必看篇)
2017/06/10 PHP
jQuery文本框(input textare)事件绑定方法教程
2013/04/24 Javascript
jquery实现非叠加式的搜索框提示效果
2014/01/07 Javascript
JS实现点击链接取消跳转效果的方法
2014/01/24 Javascript
彻底学会Angular.js中的transclusion
2017/03/12 Javascript
bootstrap+jQuery实现的动态进度条功能示例
2017/05/25 jQuery
详解VUE 定义全局变量的几种实现方式
2017/06/01 Javascript
浅析Vue自定义组件的v-model
2017/11/26 Javascript
JS中Object对象的原型概念基础
2018/01/29 Javascript
Vue 动态组件components和v-once指令的实现
2019/08/30 Javascript
vue 判断元素内容是否超过宽度的方式
2020/07/29 Javascript
Vue循环中多个input绑定指定v-model实例
2020/08/31 Javascript
学习python (1)
2006/10/31 Python
Python使用MySQLdb for Python操作数据库教程
2014/10/11 Python
Python随机生成均匀分布在三角形内或者任意多边形内的点
2017/12/14 Python
Python批量安装卸载1000个apk的方法
2020/04/10 Python
Python selenium自动化测试模型图解
2020/04/15 Python
Python super()函数使用及多重继承
2020/05/06 Python
阿提哈德航空官方网站:Etihad Airways
2017/01/06 全球购物
关于母亲节的感言
2014/02/04 职场文书
班组长竞聘书
2014/03/31 职场文书
消防宣传口号
2014/06/16 职场文书
公安局副政委班子个人对照检查材料
2014/10/04 职场文书
资产运营委托书范本
2014/10/16 职场文书
2015年社区创卫工作总结
2015/04/21 职场文书
捐款仪式主持词
2015/07/04 职场文书
红领巾广播站广播稿
2015/08/19 职场文书
会议承办单位欢迎词
2015/09/30 职场文书
使用css样式设计一个简单的html登陆界面的实现
2021/03/30 HTML / CSS
MySQL视图概念以及相关应用
2022/04/19 MySQL
Golang 链表的学习和使用
2022/04/19 Golang