使用python批量转换文件编码为UTF-8的实现


Posted in Python onApril 03, 2020

由于这两天换了IDE,在导入以前的工程的时候发现了一个大问题,由于以前脑残的我不知道改编码方式,导致出现了大量的GBK,这就很难受,要是一个两个还好说,可是这么多要是一个一个的改我会觉得现在的我比以前还脑残,于是乎,我就想用python批量的修改一下,然后就产生了这篇文章,其中好多不足的地方还请大佬指导

本来一开始的思路还是比较清晰,觉得也比较简单,天真的认为用GBK的方式读取出文件内容,然后UTF8写入就好了,可是在实际的操作中我发现我就是太天真了,出现了大量的问题,比如说:

怎么查看文件的编码方式

好吧我承认就出现了这一个问题。

那么遇到问题我们该怎么办呢,没错,Google,果然功夫不负会Google人,我看到了一个函数,就是chardet.detect()函数,当然要导入chardet模块,也就是pip,如果是Anaconda的环境当我没说,pip了不要打我。言归正传,这个函数是干嘛用的呢?

这个函数会返回一个含有三个键值对的字典类型

  • ‘encoding': 编码方式
  • ‘confidence': 检测的正确率
  • ‘language' : 语言

是不是看到encoding后眼前一亮,这样取出encoding的值然后比较不知道是啥了,然后我就在一边感叹python的强大的第三方库的支持一边开始了对这个函数的测试,先建两个txt,然后脸滚键盘,保存的时候一个是UTF-8,一个是GBK,值得竹注意的是读取方式应该是二进制,也就是'rb',接着就是兴致勃勃地Ctrl Shift F10,出现了惊人的一幕:

{'encoding': 'utf-8', 'confidence': 0.99, 'language': ''}

看看,看看这美丽的单引号,然后直接和”utf-8”比较不就结束了,万万没想到,他竟然是False,我还以为我看错了,就疯狂Ctrl F5,等待奇迹的出现,功夫不负有心人,果然,奇迹没有出现,于是我type了一下,嗯,果然是str类型的,又试了下和”utf-8”比较不就结束了,没错,结果是True,你们听我解释,我昨天做的时候真不是这样的,不管了,写都写了,按昨天的思路来吧,大家凑活看吧(不要打我),现在我们假设他是False,并且类型是NoneType,并且转为str后是None,你们要相信我昨天真的是这样的!

好了就这样吧,那既然是无法比较怎么办呢,没错,拿出一开始脸滚键盘的那两个测试文件来,用他们呢读取出的字典的值作比较不就好了(一说到这我就莫名的心痛),然后我们在想一下是把文件编码改为UTF-8,所以本来就是UTF-8的我们就不用管他,我都脸滚键盘的建测试文件了我还在意这些细节干嘛,不说了,难受,效果图也不贴了,直接上代码你们自己看吧。。。

# coding utf-8
import os
import chardet


# 获得所有java文件的路径,传入根目录路径
def find_all_file(path: str) -> str:
  for root, dirs, files in os.walk(path):
    for f in files:
      if f.endswith('.java'):
        fullname = os.path.join(root, f)
        yield fullname
      pass
    pass
  pass


# 判断是不是utf-8编码方式
def judge_coding(path: str) -> dict:
  with open('utf.txt', 'rb') as f:  # 删除就行
    utf = chardet.detect(f.read()) # 同上

  with open(path, 'rb') as f:
    c = chardet.detect(f.read())

  if c != utf:            # 改为 c != 'utf-8'
    return c


# 修改文件编码方式
def change_to_utf_file(path: str):
  for i in find_all_file(path):
    c = judge_coding(i)
    if c:
      change(i, c['encoding'])
      print("{} 编码方式已从{}改为 utf-8".format(i, c['encoding']))


def change(path: str, coding: str):
  with open(path, 'r', encoding=coding) as f:
    text = f.read()

  with open(path, 'w', encoding='utf-8') as f:
    f.write(text)


# 查看所有文件编码方式
def check(path: str):
  for i in find_all_file(path):
    with open(i, 'rb') as f:
      print(chardet.detect(f.read())['encoding'], ': ', i)


def main():
  my_path = 'C:\\WorkSpace'
  change_to_utf_file(my_path)
  # check(my_path)


if __name__ == '__main__':
  main()

到此这篇关于使用python批量转换文件编码为UTF-8的实现的文章就介绍到这了,更多相关python批量转换UTF-8内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
详解JavaScript编程中的window与window.screen对象
Oct 26 Python
Python实现线程状态监测简单示例
Mar 28 Python
python列表使用实现名字管理系统
Jan 30 Python
搞定这套Python爬虫面试题(面试会so easy)
Apr 03 Python
pyqt 实现QlineEdit 输入密码显示成圆点的方法
Jun 24 Python
Python递归及尾递归优化操作实例分析
Feb 01 Python
在TensorFlow中屏蔽warning的方式
Feb 04 Python
django-crontab实现服务端的定时任务的示例代码
Feb 17 Python
python GUI库图形界面开发之PyQt5浏览器控件QWebEngineView详细使用方法
Feb 26 Python
Python代码覆盖率统计工具coverage.py用法详解
Nov 25 Python
python开发飞机大战游戏
Jul 15 Python
Python加密技术之RSA加密解密的实现
Apr 08 Python
Python sql注入 过滤字符串的非法字符实例
Apr 03 #Python
python传到前端的数据,双引号被转义的问题
Apr 03 #Python
Django实现将一个字典传到前端显示出来
Apr 03 #Python
Django 后台带有字典的列表数据与页面js交互实例
Apr 03 #Python
Django import export实现数据库导入导出方式
Apr 03 #Python
Django用户身份验证完成示例代码
Apr 03 #Python
基于Python共轭梯度法与最速下降法之间的对比
Apr 02 #Python
You might like
PHP可变函数的使用详解
2013/06/14 PHP
Drupal读取Excel并导入数据库实例
2014/03/02 PHP
php获得文件大小和文件创建时间的方法
2015/03/13 PHP
php获取网站百度快照日期的方法
2015/07/29 PHP
PHP标准类(stdclass)用法示例
2016/09/28 PHP
javascript获取和判断浏览器窗口、屏幕、网页的高度、宽度等
2014/05/08 Javascript
js实现DOM走马灯特效的方法
2015/01/21 Javascript
JavaScript实现文字与图片拖拽效果的方法
2015/02/16 Javascript
JQuery给select添加/删除节点的实现代码
2016/04/26 Javascript
Ajax分页插件Pagination从前台jQuery到后端java总结
2016/07/22 Javascript
Javascript使用function创建类的两种方法(推荐)
2016/11/19 Javascript
js实现轮播图的两种方式(构造函数、面向对象)
2017/09/30 Javascript
基于Vue2-Calendar改进的日历组件(含中文使用说明)
2019/04/14 Javascript
在Layui中操作数据表格,给指定单元格添加事件示例
2019/10/26 Javascript
原生js实现表格翻页和跳转
2020/09/29 Javascript
[10:34]DOTA2上海特级锦标赛全纪录
2016/03/25 DOTA
python字符串连接的N种方式总结
2014/09/17 Python
解决Python安装后pip不能用的问题
2018/06/12 Python
Python编程在flask中模拟进行Restful的CRUD操作
2018/12/28 Python
Python使用crontab模块设置和清除定时任务操作详解
2019/04/09 Python
详解Python3 中的字符串格式化语法
2020/01/15 Python
基于keras中的回调函数用法说明
2020/06/17 Python
Django启动时找不到mysqlclient问题解决方案
2020/11/11 Python
HTML5中实现拖放效果无须借助javascript
2012/12/26 HTML / CSS
如何使用amaze ui的分页样式封装一个通用的JS分页控件
2020/08/21 HTML / CSS
英国计算机产品零售商:Novatech(定制个人电脑、笔记本电脑、工作站和服务器)
2018/01/28 全球购物
英国一家集合了众多有才华设计师品牌的奢侈店:Wolf & Badger
2018/04/18 全球购物
CSS实现fullpage.js全屏滚动效果的示例代码
2021/03/24 HTML / CSS
企业军训感言
2014/02/08 职场文书
《藏戏》教学反思
2014/02/11 职场文书
导游个人求职信范文
2014/03/23 职场文书
单位在职证明书
2014/09/11 职场文书
单位介绍信格式
2015/01/31 职场文书
个人廉政承诺书
2015/04/28 职场文书
2015教师年度思想工作总结
2015/04/30 职场文书
windows server2016安装oracle 11g的图文教程
2022/07/15 Servers