使用pandas库对csv文件进行筛选保存


Posted in Python onMay 25, 2020

这个操作现在看来真没啥难的,但是我找相关的资料真的找了好久。

多数大佬都是直接pandas官网甩我脸上,然后举一个入门级的例子。

https://pandas.pydata.org/docs/reference/index.html

首先导入pandas库

import pandas as pd

然后使用read_csv来打开指定的csv文件

df = pd.read_csv('./IP2LOCATION.csv',encoding= 'utf-8')

这个函数里面需要写入csv文件的路径,如果是把csv文件保存到了python的工程文件夹下,则只需要./文件名即可,然后encoding='utf-8'是使用utf-8方式编码,有时候需要换成gbk。

虽然我们读取的是csv文件,但其实由于我们使用的是pandas库,所以我们实际获得的是一个DataFrame的数据结构。

可以使用print(type(df))进行检验

print(type(df))

使用pandas库对csv文件进行筛选保存

DataFrame 是表格型的数据结构。因此,我们可以将其当做表格。DataFrame 是以表格类似展示,而且还包含行标签、列标签。

我们可以添加一个列标签,使用方法为pandas.DataFrame.columns

在我们的例子中DataFrame类型的变量为df,因此使用方法为df.columns,我们添加的列标签为a、b、c、d、e、f

df.columns = ['a','b','c','d','e','f']

然后,我们想把某一列中等于特定值的那些行提取出来

可以将读出来的内容当做一个列表,然后这个列表的元素是表中的每一行,然后这每一行也是一个列表,也就是列表中的列表。

比如,我想将表中第5列中值为Andhra Pradesh的行提取出来,并且由于我们之前定义了第五列的列标签为e

因此代码为:

data = df[df['e'] == 'Andhra Pradesh']

最后我们可以通过pandas中的to_csv,来将筛选出来的数据保存到新的csv文件中。

data.to_csv('my_IP2LOCATION.csv')

用法为表名.to_csv('所要保存地方的路径/表名.csv')

最后总结一下我们的代码

import pandas as pd

df = pd.read_csv('./IP2LOCATION.csv',encoding= 'utf-8')
# print(type(df))
df.columns = ['a','b','c','d','e','f']
data = df[df['e'] == 'Andhra Pradesh']
data.to_csv('my_IP2LOCATION.csv')

IP2LOCATION.csv内容如下:

使用pandas库对csv文件进行筛选保存

总共有759727行

然后经过我们的筛选后的my_IP2LOCATION.csv

使用pandas库对csv文件进行筛选保存

只有3461行

PS:可以使用print(len(df.values))来查看行数

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
使用python在校内发人人网状态(人人网看状态)
Feb 19 Python
python基础教程之循环介绍
Aug 29 Python
python使用分治法实现求解最大值的方法
May 12 Python
Python使用defaultdict读取文件各列的方法
May 11 Python
python库lxml在linux和WIN系统下的安装
Jun 24 Python
对python捕获ctrl+c手工中断程序的两种方法详解
Dec 26 Python
Python实现的爬取小说爬虫功能示例
Mar 30 Python
在Python中过滤Windows文件名中的非法字符方法
Jun 10 Python
pandas 对日期类型数据的处理方法详解
Aug 08 Python
Python日期格式和字符串格式相互转换的方法
Feb 18 Python
Python新手如何进行闭包时绑定变量操作
May 29 Python
django inspectdb 操作已有数据库数据的使用步骤
Feb 07 Python
pytorch中 gpu与gpu、gpu与cpu 在load时相互转化操作
May 25 #Python
基于pandas向csv添加新的行和列
May 25 #Python
Python如何把十进制数转换成ip地址
May 25 #Python
tensorflow模型转ncnn的操作方式
May 25 #Python
MxNet预训练模型到Pytorch模型的转换方式
May 25 #Python
浅谈pytorch 模型 .pt, .pth, .pkl的区别及模型保存方式
May 25 #Python
Pytorch通过保存为ONNX模型转TensorRT5的实现
May 25 #Python
You might like
《魔兽世界》惊魂幻象将获得调整
2020/03/08 其他游戏
PHP在线生成二维码(google api)的实现代码详解
2013/06/04 PHP
JavaScript中setAttribute用法介绍
2013/07/20 Javascript
jquery中键盘事件小结
2016/02/24 Javascript
js原型链与继承解析(初体验)
2016/05/09 Javascript
jQuery解决$符号命名冲突
2016/06/18 Javascript
javascript使用 concat 方法对数组进行合并的方法
2016/09/08 Javascript
微信小程序 Storage API实例详解
2016/10/02 Javascript
微信小程序 出现47001 data format error原因解决办法
2017/03/10 Javascript
jQueryUI Sortable 应用Demo(分享)
2017/09/07 jQuery
从零开始最小实现react服务器渲染详解
2018/01/26 Javascript
使用puppeteer破解极验的滑动验证码
2018/02/24 Javascript
socket io与vue-cli的结合使用的示例代码
2018/11/01 Javascript
JS实现计算小于非负数n的素数的数量算法示例
2019/02/26 Javascript
Vue Extends 扩展选项用法完整实例
2019/09/17 Javascript
js 获取扫码枪输入数据的方法
2020/06/10 Javascript
django与小程序实现登录验证功能的示例代码
2019/02/19 Python
详解python使用turtle库来画一朵花
2019/03/21 Python
Django给admin添加Action的步骤详解
2019/05/01 Python
Pytorch 使用不同版本的cuda的方法步骤
2020/04/02 Python
python如何输出反斜杠
2020/06/18 Python
Keras自动下载的数据集/模型存放位置介绍
2020/06/19 Python
Python openpyxl模块实现excel读写操作
2020/06/30 Python
解决运行django程序出错问题 'str'object has no attribute'_meta'
2020/07/15 Python
PyTorch安装与基本使用详解
2020/08/31 Python
python使用正则表达式匹配txt特定字符串(有换行)
2020/12/09 Python
2014年国庆节活动总结
2014/08/26 职场文书
领导班子四风对照检查材料思想汇报
2014/09/26 职场文书
加强干部作风建设整改方案
2014/10/24 职场文书
2014年英语工作总结
2014/12/20 职场文书
求职自我评价怎么写
2015/03/09 职场文书
工人先锋号事迹材料(2016精选版)
2016/03/01 职场文书
你有一份《诚信考试承诺书》待领取
2019/11/13 职场文书
四十九个javascript小知识实用技巧
2021/11/20 Javascript
Python+tkinter实现高清图片保存
2022/03/13 Python
排查并解决Oracle sysaux表空间异常增长
2022/04/20 Oracle