Python csv文件记录流程代码解析


Posted in Python onJuly 16, 2020

1、合并所有测试集和训练集的文件:

使用cmd到所在盘下,输入copy *.CSV all_***.csv即可

2、单独提取异常数据列作为csv文件:

import csv
import codecs
#coding:utf-8
with open("G:\\data_release\\train1.0\\all_train.csv","rt",encoding="utf-8")as f:
reader=csv.DictReader(f)
column=[row['triggername'] for row in reader]
file_name="G:\\data_release\\train1.0\\triggername.csv"
file_csv = codecs.open(file_name,'w+','utf-8')
writer = csv.writer(file_csv, delimiter=' ', quotechar=' ', quoting=csv.QUOTE_MINIMAL)
for data in column:
 writer.writerow(data)

虽然可以写入,但是出现乱码原因应该为csv的BOM没有更改

解决方法:将encoding='utf8'改为encoding='gb18030'

但是打开文件发现并不是所有内容都在第一列,有一些出现第二列,原因是一句话里面出现了逗号

解决方法:遍历列表将逗号改为空格

i=0
while i < len(column):
column[i].replace(","," ")
i+=1

不知道怎么的不适合我用的csv文件,还在继续检查中

3、删除一些字符,如果知道字符的位置可以在列表的基础上进行操作

去除首部空格 line=line.lstrip()

4、导入一个csv文件的时候 data = pd.read_csv('G:\pytorch\data1.csv',encoding='utf-8')

报错的内容是这样的:

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xc9 in position 0: invalid continuation byte

修改至data = pd.read_csv('F:\data1.csv', encoding='unicode_escape',header=None,sep = '\t',error_bad_lines=False)也没有用

删除整行重复项:

from more_itertools import unique_everseen
with open('F:\data1.csv','r') as f, open('F:\data2.csv','w') as out_file:
    out_file.writelines(unique_everseen(f))

5、unexpected index是代码的缩进出现问题

6、文本文件用rt,二进制文件用rb打开

with open("fer2013.csv", "rt", encoding="utf-8") as vsvfile:
   reader = csv.reader(vsvfile)
   rows = [row for row in reader]
      print(rows)

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python3.3使用tkinter开发猜数字游戏示例
Mar 14 Python
Python函数式编程指南(四):生成器详解
Jun 24 Python
python 链接和操作 memcache方法
Mar 04 Python
python简单线程和协程学习心得(分享)
Jun 14 Python
手把手教你用python抢票回家过年(代码简单)
Jan 21 Python
python读取txt文件并取其某一列数据的示例
Feb 19 Python
详解python之heapq模块及排序操作
Apr 04 Python
解决django后台样式丢失,css资源加载失败的问题
Jun 11 Python
Python 中PyQt5 点击主窗口弹出另一个窗口的实现方法
Jul 04 Python
Python使用Socket实现简单聊天程序
Feb 28 Python
如何使用PyCharm将代码上传到GitHub上(图文详解)
Apr 27 Python
Python探索生命起源 matplotlib细胞自动机动画演示
Apr 21 Python
Python 抓取数据存储到Redis中的操作
Jul 16 #Python
django filter过滤器实现显示某个类型指定字段不同值方式
Jul 16 #Python
解决python对齐错误的方法
Jul 16 #Python
Python爬虫实例——爬取美团美食数据
Jul 15 #Python
django Model层常用验证器及自定义验证器详解
Jul 15 #Python
浅谈Django前端后端值传递问题
Jul 15 #Python
浅谈python出错时traceback的解读
Jul 15 #Python
You might like
我的论坛源代码(四)
2006/10/09 PHP
zend framework多模块多布局配置
2011/02/26 PHP
php筛选不存在的图片资源
2015/04/28 PHP
深入浅出讲解:php的socket通信原理
2016/12/03 PHP
php使用curl_init()和curl_multi_init()多线程的速度比较详解
2018/08/15 PHP
js计数器代码
2006/11/04 Javascript
jquery json 实例代码
2010/12/02 Javascript
IE6-IE9不支持table.innerHTML的解决方法分享
2012/09/14 Javascript
Jquery 选中表格一列并对表格排序实现原理
2012/12/15 Javascript
jQuery随机切换图片的小例子
2013/04/18 Javascript
实例讲解JQuery中this和$(this)区别
2014/12/08 Javascript
AJAX实现瀑布流触发分页与分页触发瀑布流的方法
2016/05/23 Javascript
jQuery实现的checkbox级联选择下拉菜单效果示例
2016/12/26 Javascript
Vue computed计算属性的使用方法
2017/07/14 Javascript
js 两数组去除重复数值的实例
2017/12/06 Javascript
koa2+vue实现登陆及登录状态判断
2019/08/15 Javascript
vue 移动端记录页面浏览位置的方法
2020/03/11 Javascript
JS前后端实现身份证号验证代码解析
2020/07/23 Javascript
[00:43]DOTA2小紫本全民票选福利PA至宝全方位展示
2014/11/25 DOTA
python自动格式化json文件的方法
2015/03/11 Python
python读写ini配置文件方法实例分析
2015/06/30 Python
Python实现简单的代理服务器
2015/07/25 Python
详谈python http长连接客户端
2017/06/12 Python
在PyTorch中Tensor的查找和筛选例子
2019/08/18 Python
使用Jupyter notebooks上传文件夹或大量数据到服务器
2020/04/14 Python
初中同学聚会邀请函
2014/02/03 职场文书
个性发展自我评价
2014/02/11 职场文书
致跳高运动员加油稿
2014/02/12 职场文书
新年晚会主持词
2014/03/24 职场文书
产品包装策划方案
2014/05/18 职场文书
民事撤诉申请书范本
2015/05/18 职场文书
2015年美容师个人工作总结
2015/10/14 职场文书
使用Selenium实现微博爬虫(预登录、展开全文、翻页)
2021/04/13 Python
python学习之panda数据分析核心支持库
2021/05/07 Python
MongoDB日志切割的三种方式总结
2021/09/15 MongoDB
Python实现制作销售数据可视化看板详解
2021/11/27 Python