使用python批量转换文件编码为UTF-8的实现


Posted in Python onApril 03, 2020

由于这两天换了IDE,在导入以前的工程的时候发现了一个大问题,由于以前脑残的我不知道改编码方式,导致出现了大量的GBK,这就很难受,要是一个两个还好说,可是这么多要是一个一个的改我会觉得现在的我比以前还脑残,于是乎,我就想用python批量的修改一下,然后就产生了这篇文章,其中好多不足的地方还请大佬指导

本来一开始的思路还是比较清晰,觉得也比较简单,天真的认为用GBK的方式读取出文件内容,然后UTF8写入就好了,可是在实际的操作中我发现我就是太天真了,出现了大量的问题,比如说:

怎么查看文件的编码方式

好吧我承认就出现了这一个问题。

那么遇到问题我们该怎么办呢,没错,Google,果然功夫不负会Google人,我看到了一个函数,就是chardet.detect()函数,当然要导入chardet模块,也就是pip,如果是Anaconda的环境当我没说,pip了不要打我。言归正传,这个函数是干嘛用的呢?

这个函数会返回一个含有三个键值对的字典类型

  • ‘encoding': 编码方式
  • ‘confidence': 检测的正确率
  • ‘language' : 语言

是不是看到encoding后眼前一亮,这样取出encoding的值然后比较不知道是啥了,然后我就在一边感叹python的强大的第三方库的支持一边开始了对这个函数的测试,先建两个txt,然后脸滚键盘,保存的时候一个是UTF-8,一个是GBK,值得竹注意的是读取方式应该是二进制,也就是'rb',接着就是兴致勃勃地Ctrl Shift F10,出现了惊人的一幕:

{'encoding': 'utf-8', 'confidence': 0.99, 'language': ''}

看看,看看这美丽的单引号,然后直接和”utf-8”比较不就结束了,万万没想到,他竟然是False,我还以为我看错了,就疯狂Ctrl F5,等待奇迹的出现,功夫不负有心人,果然,奇迹没有出现,于是我type了一下,嗯,果然是str类型的,又试了下和”utf-8”比较不就结束了,没错,结果是True,你们听我解释,我昨天做的时候真不是这样的,不管了,写都写了,按昨天的思路来吧,大家凑活看吧(不要打我),现在我们假设他是False,并且类型是NoneType,并且转为str后是None,你们要相信我昨天真的是这样的!

好了就这样吧,那既然是无法比较怎么办呢,没错,拿出一开始脸滚键盘的那两个测试文件来,用他们呢读取出的字典的值作比较不就好了(一说到这我就莫名的心痛),然后我们在想一下是把文件编码改为UTF-8,所以本来就是UTF-8的我们就不用管他,我都脸滚键盘的建测试文件了我还在意这些细节干嘛,不说了,难受,效果图也不贴了,直接上代码你们自己看吧。。。

# coding utf-8
import os
import chardet


# 获得所有java文件的路径,传入根目录路径
def find_all_file(path: str) -> str:
  for root, dirs, files in os.walk(path):
    for f in files:
      if f.endswith('.java'):
        fullname = os.path.join(root, f)
        yield fullname
      pass
    pass
  pass


# 判断是不是utf-8编码方式
def judge_coding(path: str) -> dict:
  with open('utf.txt', 'rb') as f:  # 删除就行
    utf = chardet.detect(f.read()) # 同上

  with open(path, 'rb') as f:
    c = chardet.detect(f.read())

  if c != utf:            # 改为 c != 'utf-8'
    return c


# 修改文件编码方式
def change_to_utf_file(path: str):
  for i in find_all_file(path):
    c = judge_coding(i)
    if c:
      change(i, c['encoding'])
      print("{} 编码方式已从{}改为 utf-8".format(i, c['encoding']))


def change(path: str, coding: str):
  with open(path, 'r', encoding=coding) as f:
    text = f.read()

  with open(path, 'w', encoding='utf-8') as f:
    f.write(text)


# 查看所有文件编码方式
def check(path: str):
  for i in find_all_file(path):
    with open(i, 'rb') as f:
      print(chardet.detect(f.read())['encoding'], ': ', i)


def main():
  my_path = 'C:\\WorkSpace'
  change_to_utf_file(my_path)
  # check(my_path)


if __name__ == '__main__':
  main()

到此这篇关于使用python批量转换文件编码为UTF-8的实现的文章就介绍到这了,更多相关python批量转换UTF-8内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
新手该如何学python怎么学好python?
Oct 07 Python
Python解决鸡兔同笼问题的方法
Dec 20 Python
python reduce 函数使用详解
Dec 05 Python
python将每个单词按空格分开并保存到文件中
Mar 19 Python
Tensorflow实现AlexNet卷积神经网络及运算时间评测
May 24 Python
Python干货:分享Python绘制六种可视化图表
Aug 27 Python
Python实现合并两个有序链表的方法示例
Jan 31 Python
Python玩转Excel的读写改实例
Feb 22 Python
pyinstaller打包单个exe后无法执行错误的解决方法
Jun 21 Python
基于python爬取梨视频实现过程解析
Nov 09 Python
如何使用Python进行PDF图片识别OCR
Jan 22 Python
python如何用matplotlib创建三维图表
Jan 26 Python
Python sql注入 过滤字符串的非法字符实例
Apr 03 #Python
python传到前端的数据,双引号被转义的问题
Apr 03 #Python
Django实现将一个字典传到前端显示出来
Apr 03 #Python
Django 后台带有字典的列表数据与页面js交互实例
Apr 03 #Python
Django import export实现数据库导入导出方式
Apr 03 #Python
Django用户身份验证完成示例代码
Apr 03 #Python
基于Python共轭梯度法与最速下降法之间的对比
Apr 02 #Python
You might like
CodeMirror2 IE7/IE8 下面未知运行时错误的解决方法
2012/03/29 Javascript
AngularJS学习笔记之ng-options指令
2015/06/16 Javascript
javascript获取网页宽高方法汇总
2015/07/19 Javascript
HTML5实现留言和回复页面样式
2015/07/22 Javascript
prototype.js常用函数详解
2016/06/18 Javascript
基于JS实现横线提示输入验证码随验证码输入消失(js验证码的实现)
2016/10/27 Javascript
Angular中的ng-template及angular 使用ngTemplateOutlet 指令的方法
2018/08/08 Javascript
Vue动态生成el-checkbox点击无法赋值的解决方法
2019/02/21 Javascript
jquery 验证用户名是否重复代码实例
2019/05/14 jQuery
vue实现登录拦截
2020/06/29 Javascript
Vue实现简单的留言板
2020/10/23 Javascript
Python中处理字符串之endswith()方法的使用简介
2015/05/18 Python
Python爬虫包 BeautifulSoup  递归抓取实例详解
2017/01/28 Python
对Python中DataFrame按照行遍历的方法
2018/04/08 Python
Python paramiko模块的使用示例
2018/04/11 Python
python图像处理模块Pillow的学习详解
2019/10/09 Python
调整Jupyter notebook的启动目录操作
2020/04/10 Python
python 多线程共享全局变量的优劣
2020/09/24 Python
教你如何用python操作摄像头以及对视频流的处理
2020/10/12 Python
python脚本定时发送邮件
2020/12/22 Python
俄罗斯品牌服装和鞋子的在线商店:KUPIVIP
2019/10/27 全球购物
简述数据库的设计过程
2015/06/22 面试题
作为网站管理者应当如何防范XSS
2014/08/16 面试题
比较一下entity bean和session bean
2013/12/27 面试题
网站编辑求职信
2013/10/17 职场文书
经销商会议欢迎词
2014/01/11 职场文书
学子宴答谢词
2014/01/25 职场文书
2014年教师工作总结
2014/11/10 职场文书
优秀团员事迹材料
2014/12/25 职场文书
团员个人年度总结
2015/02/26 职场文书
董事会决议范本
2015/07/01 职场文书
同学聚会祝酒词
2015/08/10 职场文书
pytorch 预训练模型读取修改相关参数的填坑问题
2021/06/05 Python
Consul在linux环境的集群部署
2022/04/08 Servers
iOS 16进一步确认,一共支持16款iPhone
2022/04/28 数码科技
科学家测试在太空中培育人造肉,用于未来太空旅行
2022/04/29 数码科技