python 读写文件包含多种编码格式的解决方式


Posted in Python onDecember 20, 2019

今天写一个脚本文件,需要将多个文件中的内容汇总到一个txt文件中,由于多个文件有三种不同的编码方式,读写出现错误,先将解决方法记录如下:

# -*- coding: utf-8 -*-
import wave
import pylab as pl
import numpy as np
import pandas as pd
import os
import time
import datetime
import arrow
import chardet
import sys 
reload(sys) 
sys.setdefaultencoding('utf8') 
os.chdir("F:/new_srt")


#get words of srt file
###########################################
def get_word():
 path = "F:/new_srt"
 filelist = os.listdir(path)
 for files in filelist:
  print files
  encoding = chardet.detect(open(files,'r').read())['encoding']
  if encoding == 'utf-8':
   data=pd.read_csv(files,encoding="utf-8",sep='\r',header=None)
  elif encoding == 'GB2312':
   try:
    data=pd.read_csv(files,encoding="gbk",sep='\r',header=None)
   except UnicodeDecodeError:
    data=pd.read_csv(files,encoding="utf-8",sep='\r',header=None)
  elif encoding == 'UTF-8-SIG':
   data=pd.read_csv(files,encoding="UTF-8-SIG",sep='\r',header=None)
  else:
   print 'this is an error about %s' % files 

  data_new=pd.DataFrame(np.reshape(data.values, (-1,3)))
  data_new.columns=['index','timecut','content']
  filename = os.path.splitext(files)[0]  #filetype = os.path.splitext(files)[1]
  with open('F:/result.txt', 'a') as file:
   file.write(str(filename)+' ' )
   for item in data_new['content']:
    file.write(item.decode("utf-8") +' ') #s=s.decode("utf-8") 
   file.write('\n')


if __name__ == '__main__':
 get_word()

以上这篇python 读写文件包含多种编码格式的解决方式就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
通过python下载FTP上的文件夹的实现代码
Feb 10 Python
Python中使用第三方库xlrd来读取Excel示例
Apr 05 Python
Python实现把回车符\r\n转换成\n
Apr 23 Python
对python读取CT医学图像的实例详解
Jan 24 Python
谈谈Python中的while循环语句
Mar 10 Python
Python 中PyQt5 点击主窗口弹出另一个窗口的实现方法
Jul 04 Python
Django上线部署之IIS的配置方法
Aug 22 Python
简单了解Python读取大文件代码实例
Dec 18 Python
ipython jupyter notebook中显示图像和数学公式实例
Apr 15 Python
Pycharm IDE的安装和使用教程详解
Apr 30 Python
Django 实现 Websocket 广播、点对点发送消息的代码
Jun 03 Python
详解Pycharm安装及Django安装配置指南
Sep 15 Python
pandas 中对特征进行硬编码和onehot编码的实现
Dec 20 #Python
使用python3批量下载rbsp数据的示例代码
Dec 20 #Python
Python使用QQ邮箱发送邮件报错smtplib.SMTPAuthenticationError
Dec 20 #Python
Python字符串、列表、元组、字典、集合的补充实例详解
Dec 20 #Python
python获取网络图片方法及整理过程详解
Dec 20 #Python
python序列化与数据持久化实例详解
Dec 20 #Python
爬虫代理池Python3WebSpider源代码测试过程解析
Dec 20 #Python
You might like
php摘要生成函数(无乱码)
2012/02/04 PHP
PHP重定向的3种方式
2013/03/07 PHP
Linux Apache PHP Oracle 安装配置(具体操作步骤)
2013/06/17 PHP
PHP版单点登陆实现方案的实例
2016/11/17 PHP
Yii2框架实现利用mpdf创建pdf文件功能示例
2019/02/08 PHP
javascript常用方法、属性集合及NodeList 和 HTMLCollection 的浏览器差异
2010/12/25 Javascript
JavaScript高级程序设计(第3版)学习笔记 概述
2012/10/11 Javascript
JS实现匀速运动的代码实例
2013/11/29 Javascript
JavaScript中使用stopPropagation函数停止事件传播例子
2014/08/27 Javascript
js制作简易年历完整实例
2015/01/28 Javascript
jQuery插件实现图片轮播特效
2016/06/16 Javascript
微信小程序组件 contact-button(客服会话按钮)详解及实例代码
2017/01/10 Javascript
JavaScript之DOM_动力节点Java学院整理
2017/07/03 Javascript
利用VS Code开发你的第一个AngularJS 2应用程序
2017/12/15 Javascript
使用RN Animated做一个“添加购物车”动画的方法
2018/09/12 Javascript
jQuery带控制按钮轮播图插件
2020/07/31 jQuery
Python编程求解二叉树中和为某一值的路径代码示例
2018/01/04 Python
代码讲解Python对Windows服务进行监控
2018/02/11 Python
Python基于socket模块实现UDP通信功能示例
2018/04/10 Python
wxPython实现窗口用图片做背景
2018/04/25 Python
Flask框架Flask-Login用法分析
2018/07/23 Python
快速解决pyqt5窗体关闭后子线程不同时退出的问题
2019/06/19 Python
softmax及python实现过程解析
2019/09/30 Python
Python对接支付宝支付自实现功能
2019/10/10 Python
改变 Python 中线程执行顺序的方法
2020/09/24 Python
python3.9实现pyinstaller打包python文件成exe
2020/12/13 Python
html2canvas截图空白问题的解决
2020/03/24 HTML / CSS
关于打架的检讨书
2014/01/17 职场文书
初中英语教学反思
2014/01/25 职场文书
婚庆司仪主持词
2014/03/15 职场文书
授权委托书范本
2014/04/03 职场文书
乡镇党员干部四风对照检查材料思想汇报
2014/09/27 职场文书
贫困证明书范文
2015/06/16 职场文书
2019最新校园运动会广播稿!
2019/06/28 职场文书
年终奖金发放管理制度,中小企业适用,拿去救急吧!
2019/07/12 职场文书
Rhit高效可视化Nginx日志查看工具
2021/11/01 Servers