python 读写文件包含多种编码格式的解决方式


Posted in Python onDecember 20, 2019

今天写一个脚本文件,需要将多个文件中的内容汇总到一个txt文件中,由于多个文件有三种不同的编码方式,读写出现错误,先将解决方法记录如下:

# -*- coding: utf-8 -*-
import wave
import pylab as pl
import numpy as np
import pandas as pd
import os
import time
import datetime
import arrow
import chardet
import sys 
reload(sys) 
sys.setdefaultencoding('utf8') 
os.chdir("F:/new_srt")


#get words of srt file
###########################################
def get_word():
 path = "F:/new_srt"
 filelist = os.listdir(path)
 for files in filelist:
  print files
  encoding = chardet.detect(open(files,'r').read())['encoding']
  if encoding == 'utf-8':
   data=pd.read_csv(files,encoding="utf-8",sep='\r',header=None)
  elif encoding == 'GB2312':
   try:
    data=pd.read_csv(files,encoding="gbk",sep='\r',header=None)
   except UnicodeDecodeError:
    data=pd.read_csv(files,encoding="utf-8",sep='\r',header=None)
  elif encoding == 'UTF-8-SIG':
   data=pd.read_csv(files,encoding="UTF-8-SIG",sep='\r',header=None)
  else:
   print 'this is an error about %s' % files 

  data_new=pd.DataFrame(np.reshape(data.values, (-1,3)))
  data_new.columns=['index','timecut','content']
  filename = os.path.splitext(files)[0]  #filetype = os.path.splitext(files)[1]
  with open('F:/result.txt', 'a') as file:
   file.write(str(filename)+' ' )
   for item in data_new['content']:
    file.write(item.decode("utf-8") +' ') #s=s.decode("utf-8") 
   file.write('\n')


if __name__ == '__main__':
 get_word()

以上这篇python 读写文件包含多种编码格式的解决方式就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
win7 下搭建sublime的python开发环境的配置方法
Jun 18 Python
Python爬取APP下载链接的实现方法
Sep 30 Python
Python中装饰器兼容加括号和不加括号的写法详解
Jul 05 Python
Django跨域请求问题的解决方法示例
Jun 16 Python
python+unittest+requests实现接口自动化的方法
Nov 29 Python
使用python 写一个静态服务(实战)
Jun 28 Python
pytorch 实现查看网络中的参数
Jan 06 Python
Django关于admin的使用技巧和知识点
Feb 10 Python
Python性能测试工具Locust安装及使用
Dec 01 Python
Python虚拟环境virtualenv创建及使用过程图解
Dec 08 Python
五分钟学会怎么用Pygame做一个简单的贪吃蛇
Jan 06 Python
 Python 中 logging 模块使用详情
Mar 03 Python
pandas 中对特征进行硬编码和onehot编码的实现
Dec 20 #Python
使用python3批量下载rbsp数据的示例代码
Dec 20 #Python
Python使用QQ邮箱发送邮件报错smtplib.SMTPAuthenticationError
Dec 20 #Python
Python字符串、列表、元组、字典、集合的补充实例详解
Dec 20 #Python
python获取网络图片方法及整理过程详解
Dec 20 #Python
python序列化与数据持久化实例详解
Dec 20 #Python
爬虫代理池Python3WebSpider源代码测试过程解析
Dec 20 #Python
You might like
DC宇宙的第一个英雄,堪称动漫史鼻祖,如今成为美国文化的象征
2020/04/09 欧美动漫
解析PHP中常见的mongodb查询操作
2013/06/20 PHP
php 判断字符串编码是utf-8 或gb2312实例
2016/11/01 PHP
PHP实现表单提交时去除斜杠的方法
2016/12/26 PHP
PHP实现的登录页面信息提示功能示例
2017/07/24 PHP
php图片合成方法(多张图片合成一张)
2017/11/25 PHP
PHP rmdir()函数的用法总结
2019/07/02 PHP
Javascript中的Split使用方法与技巧
2007/03/09 Javascript
Array 重排序方法和操作方法的简单实例
2014/01/24 Javascript
javascript面向对象之共享成员属性与方法及prototype关键字用法
2015/01/13 Javascript
js使用post 方式打开新窗口
2015/02/26 Javascript
angular ngClick阻止冒泡使用默认行为的方法
2016/11/03 Javascript
jQuery插件FusionCharts绘制的2D双面积图效果示例【附demo源码】
2017/04/11 jQuery
AngularJS中控制器函数的定义与使用方法示例
2017/10/10 Javascript
使用ionic(选项卡栏tab) icon(图标) ionic上拉菜单(ActionSheet) 实现通讯录界面切换实例代码
2017/10/20 Javascript
在vue中使用SockJS实现webSocket通信的过程
2018/08/29 Javascript
JavaScript实现shuffle数组洗牌操作示例
2019/01/03 Javascript
node-red File读取好保存实例讲解
2019/09/11 Javascript
layui table 获取分页 limit的方法
2019/09/20 Javascript
如何用vue-cli3脚手架搭建一个基于ts的基础脚手架的方法
2019/12/12 Javascript
JS实现电商商品展示放大镜特效
2020/01/07 Javascript
js实现石头剪刀布游戏
2020/10/11 Javascript
[01:56]2014DOTA2西雅图邀请赛 MVP外卡赛老队长精辟点评
2014/07/09 DOTA
[03:00]DOTA2-DPC中国联赛1月18日Recap集锦
2021/03/11 DOTA
python实现简单神经网络算法
2018/03/10 Python
python实现顺序表的简单代码
2018/09/28 Python
详解如何用TensorFlow训练和识别/分类自定义图片
2019/08/05 Python
Python实现CAN报文转换工具教程
2020/05/05 Python
推荐WEB开发者最佳HTML5和CSS3代码生成器
2015/11/24 HTML / CSS
法国二手MacBook销售网站:Okamac
2019/03/18 全球购物
科颜氏法国官网:Kiehl’s法国
2019/08/20 全球购物
Bitiba意大利:在线宠物商店
2020/10/31 全球购物
毕业生自我鉴定实例
2014/01/21 职场文书
公司晚会策划方案
2014/05/17 职场文书
接待员岗位职责
2015/02/13 职场文书
windows server2016安装oracle 11g的图文教程
2022/07/15 Servers