Python中使用不同编码读写txt文件详解


Posted in Python onMay 28, 2015
import os

import codecs

filenames=os.listdir(os.getcwd())
out=file("name.txt","w")

for filename in filenames:

 out.write(filename.decode("gb2312").encode("utf-8"))

out.close()

将执行文件的当前目录及文件名写入到name.txt文件中,以utf-8格式保存
如果采用ANSI编码保存,用如下代码写入即可:

out.write(filename)

打开文件并写入

引用codecs模块,对该模块目前不了解。在此记录下方法,有空掌握该模块功能及用法。

import codecs

file=codecs.open("lol.txt","w","utf-8")

file.write(u"我")

file.close()

读取ANSI编码的文本文件和utf-8编码的文件

读取ANSI编码文件

建立一个文件test.txt,文件格式用ANSI,内容为:

abc中文

用python来读取

# coding=gbk

print open("Test.txt").read()

结果:abc中文
读取utf-8编码文件(无BOM)
把文件格式改成UTF-8:
结果:abc涓 ??

显然,这里需要解码:
# -*- coding: utf-8 -*-

import codecs

print open("Test.txt").read().decode("utf-8")

结果:abc中文

读取utf-8编码文件(有BOM)

某些软件在保存一个以UTF-8编码的文件时,默认会在文件开始的地方插入三个不可见的字符(0xEF 0xBB 0xBF,即BOM)。在有些软件可以控制是否插入BOM。如果在有BOM的情况下,在读取时需要自己去掉这些字符,python中的codecs module定义了这个常量:

# -*- coding: utf-8 -*-

import codecs

data = open("Test.txt").read()

if data[:3] == codecs.BOM_UTF8:

    data = data[3:]

print data.decode("utf-8")

结果:abc中文
在看下面的例子:

# -*- coding: utf-8 -*-

data = open("name_utf8.txt").read()

u=data.decode("utf-8")

print u[1:]

打开utf-8格式的文件并读取utf-8字符串后,解码变成unicode对象。但是会把附加的三个字符同样进行转换,变成一个unicode字符。该字符不能被打印。所以为了正常显示,采用u[1:]的方式,过滤到第一个字符。
注意:在处理unicode中文字符串的时候,必须首先对它调用encode函数,转换成其它编码输出。

设置python默认编码

import sys

reload(sys)

sys.setdefaultencoding("utf-8")

print sys.getdefaultencoding()

今天碰到了 python 编码问题, 报错信息如下

Traceback (most recent call last):

  File "ntpath.pyc", line 108, in join

UnicodeDecodeError: 'ascii' codec can't decode byte 0xa1 in position 36: ordinal not in range(128)

显然是当前的编码为ascii, 无法解析0xa1(十进制为161, 超过上限128). 进入python console后, 发现默认编码确实是 ascii, 验证过程为:
在python2.6中无法调用sys.setdefaultencoding()函数来修改默认编码,因为python在启动的时候会调用site.py文件,在这个文件中设置完默认编码后会删除sys的setdefaultencoding方法。不能再被调用了.  在确定sys已经导入的情况下, 可以reload sys这个模块之后, 再 sys.setdefaultencoding('utf8')

import sys

reload(sys)

sys.setdefaultencoding("utf-8")

print sys.getdefaultencoding()

确实有效, 根据 limodou 讲解,  site.py 是 python 解释器启动后, 默认加载的一个脚本. 如果使用 python -S 启动的话, 将不会自动加载 site.py.

上面写的挺??碌?

==================================
如何永久地将默认编码设置为utf-8呢?  有2种方法:
==================================

第一个方法<不推荐>: 编辑site.py, 修改setencoding()函数, 强制设置为 utf-8
第二个方法<推荐>: 增加一个名为 sitecustomize.py, 推荐存放的路径为 site-packages 目录下
sitecustomize.py 是在 site.py 被import 执行的, 因为 sys.setdefaultencoding() 是在 site.py 的最后删除的, 所以, 可以在 sitecustomize.py 使用 sys.setdefaultencoding().

import sys   

sys.setdefaultencoding('utf-8')

既然 sitecustomize.py 能被自动加载,  所以除了设置编码外, 也可以设置一些其他的东西
字符串的编码
s1='中文'

像上面那样直接输入的字符串是按照代码文件的编码来处理的,如果是unicode编码,有以下三种方式:
1 s1 = u'中文'

2 s2 = unicode('中文','gbk')

3 s3 = s1.decode('gbk')

unicode是一个内置函数,第二个参数指示源字符串的编码格式。
decode是任何字符串具有的方法,将字符串转换成unicode格式,参数指示源字符串的编码格式。
encode也是任何字符串具有的方法,将字符串转换成参数指定的格式。
Python 相关文章推荐
python查找目录下指定扩展名的文件实例
Apr 01 Python
python3中set(集合)的语法总结分享
Mar 24 Python
Python 中 Virtualenv 和 pip 的简单用法详解
Aug 18 Python
Python 使用PyQt5 完成选择文件或目录的对话框方法
Jun 27 Python
Django文件存储 默认存储系统解析
Aug 02 Python
python中bytes和str类型的区别
Oct 21 Python
Python实现新型冠状病毒传播模型及预测代码实例
Feb 05 Python
Python使用扩展库pywin32实现批量文档打印实例
Apr 09 Python
详解pandas绘制矩阵散点图(scatter_matrix)的方法
Apr 23 Python
解决django 向mysql中写入中文字符出错的问题
May 18 Python
Django 解决由save方法引发的错误
May 21 Python
使用Python项目生成所有依赖包的清单方式
Jul 13 Python
Python实现统计英文单词个数及字符串分割代码
May 28 #Python
python处理大数字的方法
May 27 #Python
python类继承用法实例分析
May 27 #Python
python显示生日是星期几的方法
May 27 #Python
python中zip和unzip数据的方法
May 27 #Python
Python pickle模块用法实例分析
May 27 #Python
Python创建模块及模块导入的方法
May 27 #Python
You might like
PHP操作xml代码
2010/06/17 PHP
PHP实现多条件查询实例代码
2010/07/17 PHP
PHP5中Cookie与 Session使用详解
2013/04/30 PHP
判断php数组是否为索引数组的实现方法
2013/06/13 PHP
php采集文章中的图片获取替换到本地(实现代码)
2013/07/08 PHP
thinkphp3.x连接mysql数据库的方法(具体操作步骤)
2016/05/19 PHP
PHP观察者模式原理与简单实现方法示例
2017/08/25 PHP
Laravel中unique和exists验证规则的优化详解
2018/01/28 PHP
浅析PHP类的反射来实现依赖注入过程
2018/02/06 PHP
javascript中的数字与字符串相加实例分析
2011/08/14 Javascript
jquery解决图片路径不存在执行替换路径
2013/02/06 Javascript
解析瀑布流布局:JS+绝对定位的实现
2013/05/08 Javascript
js抽奖实现随机抽奖代码效果
2013/12/02 Javascript
jQuery事件的绑定、触发、及监听方法简单说明
2016/05/10 Javascript
JS打印组合功能
2016/08/04 Javascript
老生常谈的跨域处理
2017/01/11 Javascript
如何获取元素的最终background-color
2017/02/06 Javascript
VUE实现日历组件功能
2017/03/13 Javascript
jQuery简单绑定单个事件的方法示例
2017/06/10 jQuery
详解Webstorm 下的Angular2.0开发之路(图文)
2018/12/06 Javascript
vue 左滑删除功能的示例代码
2019/01/28 Javascript
vue 解决异步数据更新问题
2019/10/29 Javascript
微信小程序实现加入购物车滑动轨迹
2020/11/18 Javascript
vue中h5端打开app(判断是安卓还是苹果)
2021/02/26 Vue.js
[50:24]VGJ.S vs Pain 2018国际邀请赛小组赛BO2 第二场 8.17
2018/08/20 DOTA
[42:32]完美世界DOTA2联赛循环赛 Magma vs PXG BO2第二场 10.28
2020/10/28 DOTA
python求解水仙花数的方法
2015/05/11 Python
python3大文件解压和基本操作
2017/12/15 Python
Python向Excel中插入图片的简单实现方法
2018/04/24 Python
python+numpy实现的基本矩阵操作示例
2019/07/19 Python
python实现简单日志记录库glog的使用
2019/12/13 Python
python eventlet绿化和patch原理
2020/11/21 Python
HTML5 创建canvas元素示例代码
2014/06/04 HTML / CSS
美国婴童服装市场上的领先品牌:Carter’s
2018/02/08 全球购物
图书室管理制度
2014/01/19 职场文书
公证委托书模板
2014/04/03 职场文书