python 读写文件包含多种编码格式的解决方式


Posted in Python onDecember 20, 2019

今天写一个脚本文件,需要将多个文件中的内容汇总到一个txt文件中,由于多个文件有三种不同的编码方式,读写出现错误,先将解决方法记录如下:

# -*- coding: utf-8 -*-
import wave
import pylab as pl
import numpy as np
import pandas as pd
import os
import time
import datetime
import arrow
import chardet
import sys 
reload(sys) 
sys.setdefaultencoding('utf8') 
os.chdir("F:/new_srt")


#get words of srt file
###########################################
def get_word():
 path = "F:/new_srt"
 filelist = os.listdir(path)
 for files in filelist:
  print files
  encoding = chardet.detect(open(files,'r').read())['encoding']
  if encoding == 'utf-8':
   data=pd.read_csv(files,encoding="utf-8",sep='\r',header=None)
  elif encoding == 'GB2312':
   try:
    data=pd.read_csv(files,encoding="gbk",sep='\r',header=None)
   except UnicodeDecodeError:
    data=pd.read_csv(files,encoding="utf-8",sep='\r',header=None)
  elif encoding == 'UTF-8-SIG':
   data=pd.read_csv(files,encoding="UTF-8-SIG",sep='\r',header=None)
  else:
   print 'this is an error about %s' % files 

  data_new=pd.DataFrame(np.reshape(data.values, (-1,3)))
  data_new.columns=['index','timecut','content']
  filename = os.path.splitext(files)[0]  #filetype = os.path.splitext(files)[1]
  with open('F:/result.txt', 'a') as file:
   file.write(str(filename)+' ' )
   for item in data_new['content']:
    file.write(item.decode("utf-8") +' ') #s=s.decode("utf-8") 
   file.write('\n')


if __name__ == '__main__':
 get_word()

以上这篇python 读写文件包含多种编码格式的解决方式就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python 实现文件的递归拷贝实现代码
Aug 02 Python
python通过socket实现多个连接并实现ssh功能详解
Nov 08 Python
Python Web编程之WSGI协议简介
Jul 18 Python
Django Rest framework之认证的实现代码
Dec 17 Python
python 为什么说eval要慎用
Mar 26 Python
Python闭包和装饰器用法实例详解
May 22 Python
python射线法判断检测点是否位于区域外接矩形内
Jun 28 Python
pycharm修改文件的默认打开方式的步骤
Jul 29 Python
Pytorch加载部分预训练模型的参数实例
Aug 18 Python
Python实现二叉树的最小深度的两种方法
Sep 30 Python
Django跨域资源共享问题(推荐)
Mar 09 Python
浅谈Python numpy创建空数组的问题
May 25 Python
pandas 中对特征进行硬编码和onehot编码的实现
Dec 20 #Python
使用python3批量下载rbsp数据的示例代码
Dec 20 #Python
Python使用QQ邮箱发送邮件报错smtplib.SMTPAuthenticationError
Dec 20 #Python
Python字符串、列表、元组、字典、集合的补充实例详解
Dec 20 #Python
python获取网络图片方法及整理过程详解
Dec 20 #Python
python序列化与数据持久化实例详解
Dec 20 #Python
爬虫代理池Python3WebSpider源代码测试过程解析
Dec 20 #Python
You might like
php inc文件使用的风险和注意事项
2013/11/12 PHP
去掉destoon资讯内容页keywords关键字自带的文章标题的方法
2014/08/21 PHP
laravel5.5安装jwt-auth 生成token令牌的示例
2019/10/24 PHP
PHP程序员简单的开展服务治理架构操作详解(二)
2020/05/14 PHP
JS setCapture 区域外事件捕捉
2010/03/18 Javascript
用js来解决ajax读取页面乱码
2010/11/28 Javascript
深入理解JavaScript系列(33):设计模式之策略模式详解
2015/03/03 Javascript
JavaScript黑洞数字之运算路线查找算法(递归算法)实例
2016/01/28 Javascript
JavaScript正则表达式的分组匹配详解
2016/02/13 Javascript
jQuery Mobile 触摸事件实例
2016/06/04 Javascript
jQuery Ajax 异步加载显示等待效果代码分享
2016/08/01 Javascript
Javascript发送AJAX请求实例代码
2016/08/21 Javascript
Angular页面间切换及传值的4种方法
2016/11/04 Javascript
npm国内镜像 安装失败的几种解决方案
2017/06/04 Javascript
解决AjaxFileupload 上传时会出现连接重置的问题
2017/07/07 Javascript
hammer.js实现图片手势放大效果
2017/08/29 Javascript
深入理解ES6之数据解构的用法
2018/01/13 Javascript
vue-image-crop基于Vue的移动端图片裁剪组件示例
2018/08/28 Javascript
vue+Vue Router多级侧导航切换路由(页面)的实现代码
2018/12/20 Javascript
koa2+vue实现登陆及登录状态判断
2019/08/15 Javascript
vux-scroller实现移动端上拉加载功能过程解析
2019/10/08 Javascript
简单了解JavaScript弹窗实现代码
2020/05/07 Javascript
Python 实现「食行生鲜」签到领积分功能
2018/09/26 Python
对django中render()与render_to_response()的区别详解
2018/10/16 Python
Django框架组成结构、基本概念与文件功能分析
2019/07/30 Python
以色列的身体护理及家居香薰品牌:Sabon NYC
2018/02/23 全球购物
通信工程专业女生个人求职信
2013/09/21 职场文书
毕业自我鉴定范文
2013/11/06 职场文书
3.12植树节活动总结2014
2014/03/13 职场文书
小区文明倡议书
2014/05/16 职场文书
2014年班级工作总结
2014/11/14 职场文书
先进党支部事迹材料
2014/12/24 职场文书
法人身份证明书
2015/06/18 职场文书
交通安全教育心得体会
2016/01/15 职场文书
高中政治教学反思
2016/02/23 职场文书
2016年万圣节家长开放日活动总结
2016/04/05 职场文书