Python中使用不同编码读写txt文件详解


Posted in Python onMay 28, 2015
import os

import codecs

filenames=os.listdir(os.getcwd())
out=file("name.txt","w")

for filename in filenames:

 out.write(filename.decode("gb2312").encode("utf-8"))

out.close()

将执行文件的当前目录及文件名写入到name.txt文件中,以utf-8格式保存
如果采用ANSI编码保存,用如下代码写入即可:

out.write(filename)

打开文件并写入

引用codecs模块,对该模块目前不了解。在此记录下方法,有空掌握该模块功能及用法。

import codecs

file=codecs.open("lol.txt","w","utf-8")

file.write(u"我")

file.close()

读取ANSI编码的文本文件和utf-8编码的文件

读取ANSI编码文件

建立一个文件test.txt,文件格式用ANSI,内容为:

abc中文

用python来读取

# coding=gbk

print open("Test.txt").read()

结果:abc中文
读取utf-8编码文件(无BOM)
把文件格式改成UTF-8:
结果:abc涓 ??

显然,这里需要解码:
# -*- coding: utf-8 -*-

import codecs

print open("Test.txt").read().decode("utf-8")

结果:abc中文

读取utf-8编码文件(有BOM)

某些软件在保存一个以UTF-8编码的文件时,默认会在文件开始的地方插入三个不可见的字符(0xEF 0xBB 0xBF,即BOM)。在有些软件可以控制是否插入BOM。如果在有BOM的情况下,在读取时需要自己去掉这些字符,python中的codecs module定义了这个常量:

# -*- coding: utf-8 -*-

import codecs

data = open("Test.txt").read()

if data[:3] == codecs.BOM_UTF8:

    data = data[3:]

print data.decode("utf-8")

结果:abc中文
在看下面的例子:

# -*- coding: utf-8 -*-

data = open("name_utf8.txt").read()

u=data.decode("utf-8")

print u[1:]

打开utf-8格式的文件并读取utf-8字符串后,解码变成unicode对象。但是会把附加的三个字符同样进行转换,变成一个unicode字符。该字符不能被打印。所以为了正常显示,采用u[1:]的方式,过滤到第一个字符。
注意:在处理unicode中文字符串的时候,必须首先对它调用encode函数,转换成其它编码输出。

设置python默认编码

import sys

reload(sys)

sys.setdefaultencoding("utf-8")

print sys.getdefaultencoding()

今天碰到了 python 编码问题, 报错信息如下

Traceback (most recent call last):

  File "ntpath.pyc", line 108, in join

UnicodeDecodeError: 'ascii' codec can't decode byte 0xa1 in position 36: ordinal not in range(128)

显然是当前的编码为ascii, 无法解析0xa1(十进制为161, 超过上限128). 进入python console后, 发现默认编码确实是 ascii, 验证过程为:
在python2.6中无法调用sys.setdefaultencoding()函数来修改默认编码,因为python在启动的时候会调用site.py文件,在这个文件中设置完默认编码后会删除sys的setdefaultencoding方法。不能再被调用了.  在确定sys已经导入的情况下, 可以reload sys这个模块之后, 再 sys.setdefaultencoding('utf8')

import sys

reload(sys)

sys.setdefaultencoding("utf-8")

print sys.getdefaultencoding()

确实有效, 根据 limodou 讲解,  site.py 是 python 解释器启动后, 默认加载的一个脚本. 如果使用 python -S 启动的话, 将不会自动加载 site.py.

上面写的挺??碌?

==================================
如何永久地将默认编码设置为utf-8呢?  有2种方法:
==================================

第一个方法<不推荐>: 编辑site.py, 修改setencoding()函数, 强制设置为 utf-8
第二个方法<推荐>: 增加一个名为 sitecustomize.py, 推荐存放的路径为 site-packages 目录下
sitecustomize.py 是在 site.py 被import 执行的, 因为 sys.setdefaultencoding() 是在 site.py 的最后删除的, 所以, 可以在 sitecustomize.py 使用 sys.setdefaultencoding().

import sys   

sys.setdefaultencoding('utf-8')

既然 sitecustomize.py 能被自动加载,  所以除了设置编码外, 也可以设置一些其他的东西
字符串的编码
s1='中文'

像上面那样直接输入的字符串是按照代码文件的编码来处理的,如果是unicode编码,有以下三种方式:
1 s1 = u'中文'

2 s2 = unicode('中文','gbk')

3 s3 = s1.decode('gbk')

unicode是一个内置函数,第二个参数指示源字符串的编码格式。
decode是任何字符串具有的方法,将字符串转换成unicode格式,参数指示源字符串的编码格式。
encode也是任何字符串具有的方法,将字符串转换成参数指定的格式。
Python 相关文章推荐
python选择排序算法的实现代码
Nov 21 Python
Web服务器框架 Tornado简介
Jul 16 Python
Python读取环境变量的方法和自定义类分享
Nov 22 Python
讲解Python中的标识运算符
May 14 Python
安装ElasticSearch搜索工具并配置Python驱动的方法
Dec 22 Python
Python生成数字图片代码分享
Oct 31 Python
Python使用flask框架操作sqlite3的两种方式
Jan 31 Python
python-pyinstaller、打包后获取路径的实例
Jun 10 Python
关于Python-faker的函数效果一览
Nov 28 Python
Python 限定函数参数的类型及默认值方式
Dec 24 Python
Python requests模块cookie实例解析
Apr 14 Python
Python多线程 Queue 模块常见用法
Jul 04 Python
Python实现统计英文单词个数及字符串分割代码
May 28 #Python
python处理大数字的方法
May 27 #Python
python类继承用法实例分析
May 27 #Python
python显示生日是星期几的方法
May 27 #Python
python中zip和unzip数据的方法
May 27 #Python
Python pickle模块用法实例分析
May 27 #Python
Python创建模块及模块导入的方法
May 27 #Python
You might like
非洲第一个咖啡超凡杯大赛承办国—卢旺达的咖啡怎么样
2021/03/03 咖啡文化
php 无限级 SelectTree 类
2009/05/19 PHP
PHP 字符串 小常识
2009/06/05 PHP
php读取3389的脚本
2014/05/06 PHP
yii通过小物件生成view的方法
2016/10/08 PHP
PHP实现实时生成并下载超大数据量的EXCEL文件详解
2017/10/23 PHP
利用jquery的获取JS文件中的字符串内容
2012/02/14 Javascript
原生JS绑定滑轮滚动事件兼容常见浏览器
2014/06/30 Javascript
Jquery实现顶部弹出框特效
2015/08/08 Javascript
vuex实现简易计数器
2016/10/27 Javascript
js仿微博动态栏功能
2017/02/22 Javascript
Angularjs之如何在跨域请求中传输Cookie的方法
2018/06/01 Javascript
JavaScript常用数组操作方法,包含ES6方法
2020/05/10 Javascript
VUE简单的定时器实时刷新的实现方法
2019/01/20 Javascript
Node.js + express基本用法教程
2019/03/14 Javascript
手把手教你 CKEDITOR 4 实现Dialog 内嵌 IFrame操作详解
2019/06/18 Javascript
浅谈layui 表单元素的选中问题
2019/10/25 Javascript
基于jQuery实现挂号平台首页源码
2020/01/06 jQuery
Java 生成随机字符的示例代码
2021/01/13 Javascript
Python中的Django基本命令实例详解
2018/07/15 Python
kafka-python批量发送数据的实例
2018/12/27 Python
Numpy之random函数使用学习
2019/01/29 Python
python for 循环获取index索引的方法
2019/02/01 Python
python如何进入交互模式
2020/07/06 Python
Python异常处理机制结构实例解析
2020/07/23 Python
python PyAUtoGUI库实现自动化控制鼠标键盘
2020/09/09 Python
白色公司:The White Company
2017/10/11 全球购物
应届毕业生专业个人求职自荐信格式
2013/11/20 职场文书
应届生个人求职信模板
2013/11/26 职场文书
大一工商管理职业生涯规划:有梦最美,行动相随
2014/09/18 职场文书
员工教育培训协议书
2014/09/27 职场文书
现场施工员岗位职责
2015/04/11 职场文书
清明祭英烈活动总结
2015/05/11 职场文书
2015年体检中心工作总结
2015/05/27 职场文书
初中体育教学随笔
2015/08/15 职场文书
Windows Server 2012 R2服务器安装与配置的完整步骤
2022/07/15 Servers