简单解决Python文件中文编码问题


Posted in Python onNovember 22, 2015

读写中文

需要读取utf-8编码的中文文件,先利用sublime text软件将它改成无DOM的编码,然后用以下代码:

with codecs.open(note_path, 'r+','utf-8') as f:
line=f.readline()
print line

这样就可以正确地读出文件里面的中文字符了。

同样的,如果要在创建的文件中写入中文,最好也和上面差不多:

with codecs.open(st,'a+','utf-8') as book_note:
book_note.write(st)

创建中文文件

然后以读出的字符为文件名,创建文件。

如果直接用上面读出来的字符串创建文件,则会出现:

st=digest_path+"\\"+onenote[0]+".txt"
print st
with open(st,'a+') as book_note:

简单解决Python文件中文编码问题

经过调试,应该是最后一个换行符的问题,在生成名字的时候,将字符trip一下,就能够得到文件:

st=digest_path+"\\"+onenote[0].strip()+".txt"

中文编码问题是用中文的程序员经常头大的问题,在python下也是如此,那么应该怎么理解和解决python的编码问题呢?

我们要知道python内部使用的是unicode编码,而外部却要面对千奇百怪的各种编码,比如作为中国程序经常要面对的gbk,gb2312,utf8等,那这些编码是怎么转换成内部的unicode呢?

首先我们先看一下源代码文件中使用字符串的情况。源代码文件作为文本文件就必然是以某种编码形式存储代码的,python默认会认为源代码文件是asci编码,比如说代码中有一个变量赋值:

s1='a' 
print s1

python认为这个'a'就是一个asci编码的字符。在仅仅使用英文字符的情况下一切正常,但是如果用了中文,比如:

s1='哈' 
print s1

这个代码文件被执行时就会出错,就是编码出了问题。python默认将代码文件内容当作asci编码处理,但asci编码中不存在中文,因此抛出异常。

解决问题之道就是要让python知道文件中使用的是什么编码形式,对于中文,可以用的常见编码有utf-8,gbk和gb2312等。只需在代码文件的最前端添加如下:

# -*- coding: utf-8 -*-

这就是告知python我这个文件里的文本是用utf-8编码的,这样,python就会依照utf-8的编码形式解读其中的字符,然后转换成unicode编码内部处理使用。

不过,如果你在Windows控制台下运行此代码的话,虽然程序是执行了,但屏幕上打印出的却不是哈字。这是由于python编码与控制台编码的不一致造成的。Windows下控制台中的编码使用的

是gbk,而在代码中使用的utf-8,python按照utf-8编码打印到gbk编码的控制台下自然就会不一致而不能打印出正确的汉字。

解决办法一个是将源代码的编码也改成gbk,也就是代码第一行改成:

# -*- coding: gbk -*-

另一种方法是保持源码文件的utf-8不变,而是在'哈'前面加个u字,也就是:

s1=u'哈' 
print s1

这样就可以正确打印出'哈'字了。

这里的这个u表示将后面跟的字符串以unicode格式存储。python会根据代码第一行标称的utf-8编码识别代码中的汉字'哈',然后转换成unicode对象。如果我们用type查看一下'哈'的数据类型type(‘哈'),会得到<type ‘str'>,而type(u'哈'),则会得到<type ‘unicode'>,也就是在字符前面加u就表明这是一个unicode对象,这个字会以unicode格式存在于内存中,而如果不加u,表明这仅仅是一个使用某种编码的字符串,编码格式取决于python对源码文件编码的识别,这里就是utf-8。

Python在向控制台输出unicode对象的时候会自动根据输出环境的编码进行转换,但如果输出的不是unicode对象而是普通字符串,则会直接按照字符串的编码输出字符串,从而出现上面的现象。

使用unicode对象的话,除了这样使用u标记,还可以使用unicode类以及字符串的encode和decode方法。

unicode类的构造函数接受一个字符串参数和一个编码参数,将字符串封装为一个unicode,比如在这里,由于我们用的是utf-8编码,所以unicode中的编码参数使用'utf-8′将字符封装为

unicode对象,然后正确输出到控制台:

s1=unicode(‘哈', ‘utf-8′) 
print s1

另外,用decode函数也可以将一个普通字符串转换为unicode对象。很多人都搞不明白python字符串的decode和encode函数都是什么意思。这里简要说明一下。

decode是将普通字符串按照参数中的编码格式进行解析,然后生成对应的unicode对象,比如在这里我们代码用的是utf-8,那么把一个字符串转换为unicode就是如下形式:

s2='哈'.decode(‘utf-8′)

这时,s2就是一个存储了'哈'字的unicode对象,其实就和unicode(‘哈', ‘utf-8′)以及u'哈'是相同的。

那么encode正好就是相反的功能,是将一个unicode对象转换为参数中编码格式的普通字符,比如下面代码:

s3=unicode(‘哈', ‘utf-8′).encode(‘utf-8′)

s3现在又变回了utf-8的'哈'。

Python 相关文章推荐
树莓派中python获取GY-85九轴模块信息示例
Dec 05 Python
Python 专题一 函数的基础知识
Mar 16 Python
浅析Python中return和finally共同挖的坑
Aug 18 Python
如何使用VSCode愉快的写Python于调试配置步骤
Apr 06 Python
SELENIUM自动化模拟键盘快捷键操作实现解析
Oct 28 Python
python3实现弹弹球小游戏
Nov 25 Python
python错误调试及单元文档测试过程解析
Dec 19 Python
pytorch三层全连接层实现手写字母识别方式
Jan 14 Python
python3 sorted 如何实现自定义排序标准
Mar 12 Python
Python 找出出现次数超过数组长度一半的元素实例
May 11 Python
Scrapy项目实战之爬取某社区用户详情
Sep 17 Python
Python绘制词云图之可视化神器pyecharts的方法
Feb 23 Python
Python制作简单的网页爬虫
Nov 22 #Python
Python编程中使用Pillow来处理图像的基础教程
Nov 20 #Python
在Mac OS系统上安装Python的Pillow库的教程
Nov 20 #Python
详解Python编程中time模块的使用
Nov 20 #Python
Windows上配置Emacs来开发Python及用Python扩展Emacs
Nov 20 #Python
将Emacs打造成强大的Python代码编辑工具
Nov 20 #Python
Python聚类算法之DBSACN实例分析
Nov 20 #Python
You might like
php 归并排序 数组交集
2011/05/10 PHP
PHP5.5和之前的版本empty函数的不同之处
2014/06/13 PHP
将FCKeditor导入PHP+SMARTY的实现方法
2015/01/15 PHP
php取得字符串首字母的方法
2015/03/25 PHP
YII2框架中添加自定义模块的方法实例分析
2020/03/18 PHP
深入理解JavaScript系列(15) 函数(Functions)
2012/04/12 Javascript
JQuery入门——事件切换之hover()方法应用介绍
2013/02/05 Javascript
javascript实现2048游戏示例
2014/05/04 Javascript
JS弹出可拖拽可关闭的div层完整实例
2015/02/13 Javascript
使用命令对象代替switch语句的写法示例
2015/02/28 Javascript
JavaScript清空数组元素的两种方法简单比较
2015/07/10 Javascript
JS调用打印机功能简单示例
2016/11/28 Javascript
vue-router路由简单案例介绍
2017/02/21 Javascript
移动端效果之IndexList详解
2017/10/20 Javascript
JS 实现缓存算法的示例(FIFO/LRU)
2018/03/20 Javascript
微信小程序实现留言板
2018/10/31 Javascript
微信小程序判断页面是否从其他页面返回的实例代码
2019/07/03 Javascript
基于layui轮播图满屏是高度自适应的解决方法
2019/09/16 Javascript
QML实现圆环颜色选择器
2019/09/25 Javascript
JS插件amCharts实现绘制柱形图默认显示数值功能示例
2019/11/26 Javascript
python并发编程之多进程、多线程、异步和协程详解
2016/10/28 Python
Python实现一个简单的验证码程序
2017/11/03 Python
Python DataFrame 设置输出不显示index(索引)值的方法
2018/06/07 Python
Python实现制度转换(货币,温度,长度)
2019/07/14 Python
Python 生成器,迭代,yield关键字,send()传参给yield语句操作示例
2019/10/12 Python
详解python环境安装selenium和手动下载安装selenium的方法
2020/03/17 Python
在keras 中获取张量 tensor 的维度大小实例
2020/06/10 Python
学习雷锋演讲稿
2014/05/10 职场文书
放飞梦想演讲稿200字
2014/08/26 职场文书
2014年信用社工作总结
2014/11/25 职场文书
2016年记者节感言
2015/12/08 职场文书
党员反四风学习心得体会
2016/01/22 职场文书
2016年小学中秋节活动总结
2016/04/05 职场文书
导游词之云南-元阳梯田
2019/10/08 职场文书
Python 中random 库的详细使用
2021/06/03 Python
Java异常处理try catch的基本用法
2021/12/06 Java/Android