python中csv文件的若干读写方法小结


Posted in Python onJuly 04, 2018

如下所示:

//用普通文本文件方式打开和操作

with open("'file.csv'") as cf:
    lines=cf.readlines()
    ......
//用普通文本方式打开,用csv模块操作

import csv
with open("file.csv") as cf:
    lines=csv.reader(cf)
    for line in lines:
        print(line)
    ......
import csv
headers=['id','username','password','age','country']
rows=[(1001,'qiye','qiye_pass',20,'china'),(1002,'mary','mary_pass',23,'usa')]
f=open("csvfile.csv",'a+')
wf =csv.writer(f)
wf.writerow(headers)
wf.writerows(rows)
f.close()

csv模块相关方法和属性

csv.writer(fileobj [, dialect='excel'][optional keyword args])返回DictWriter类

csv.reader(iterable [, dialect='excel'][,optional keyword args])返回DictRead类

csv.writer(csvfile.csv).writerow(rowdict)

csv.DictWriter.writerow()

csv.DictWriter.writeheader()

csv.DictWriter.writerows()

csv.writer(csvfile.csv).writerow(rowdicts)

csv.reader(csvfile.csv).next()

csv.DictReader.next()

csv.field_size_limit()

csv.get_dialect()

csv.list_dialects()

csv.reduce(funtion,sequence)

csv.register_dialect()

csv.re 类

csv.DictWriter类

csv.DictReader类

//用pandas模块打开和操作

import pandas as pd
csvpd=pd.read_excel(filepath)
......
csvpd.to_csv(filepath)
#csvpd为pandas.DataFrame类

第三方pandas模块的常用方法属性

df:任意的Pandas DataFrame对象
s:任意的Pandas Series对象
同时我们需要做如下的引入:
import pandas as pd
import numpy as np

导入数据

pd.read_csv(filename):从CSV文件导入数据
pd.read_table(filename):从限定分隔符的文本文件导入数据
pd.read_excel(filename):从Excel文件导入数据
pd.read_sql(query, connection_object):从SQL表/库导入数据
pd.read_json(json_string):从JSON格式的字符串导入数据
pd.read_html(url):解析URL、字符串或者HTML文件,抽取其中的tables表格
pd.read_clipboard():从你的粘贴板获取内容,并传给read_table()
pd.DataFrame(dict):从字典对象导入数据,Key是列名,Value是数据

导出数据

df.to_csv(filename):导出数据到CSV文件
df.to_excel(filename):导出数据到Excel文件
df.to_sql(table_name, connection_object):导出数据到SQL表
df.to_json(filename):以Json格式导出数据到文本文件

创建测试对象

pd.DataFrame(np.random.rand(20,5)):创建20行5列的随机数组成的DataFrame对象
pd.Series(my_list):从可迭代对象my_list创建一个Series对象
df.index = pd.date_range(‘1900/1/30', periods=df.shape[0]):增加一个日期索引

查看、检查数据

df.head(n):查看DataFrame对象的前n行
df.tail(n):查看DataFrame对象的最后n行
df.shape():查看行数和列数
df.info():查看索引、数据类型和内存信息
df.describe():查看数值型列的汇总统计
s.value_counts(dropna=False):查看Series对象的唯一值和计数
df.apply(pd.Series.value_counts):查看DataFrame对象中每一列的唯一值和计数

数据选取

df[col]:根据列名,并以Series的形式返回列
df[[col1, col2]]:以DataFrame形式返回多列
s.iloc[0]:按位置选取数据
s.loc[‘index_one']:按索引选取数据
df.iloc[0,:]:返回第一行
df.iloc[0,0]:返回第一列的第一个元素

数据清理

df.columns = [‘a','b','c']:重命名列名
pd.isnull():检查DataFrame对象中的空值,并返回一个Boolean数组
pd.notnull():检查DataFrame对象中的非空值,并返回一个Boolean数组
df.dropna():删除所有包含空值的行
df.dropna(axis=1):删除所有包含空值的列
df.dropna(axis=1,thresh=n):删除所有小于n个非空值的行
df.fillna(x):用x替换DataFrame对象中所有的空值
s.astype(float):将Series中的数据类型更改为float类型
s.replace(1,'one'):用‘one'代替所有等于1的值
s.replace([1,3],[‘one','three']):用'one'代替1,用'three'代替3
df.rename(columns=lambda x: x + 1):批量更改列名
df.rename(columns={‘old_name': ‘new_ name'}):选择性更改列名
df.set_index(‘column_one'):更改索引列
df.rename(index=lambda x: x + 1):批量重命名索引

数据处理:Filter 、Sort 和 GroupBy

df[df[col] > 0.5]:选择col列的值大于0.5的行
df.sort_values(col1):按照列col1排序数据,默认升序排列
df.sort_values(col2, ascending=False):按照列col1降序排列数据
df.sort_values([col1,col2], ascending=[True,False]):先按列col1升序排列,后按col2降序排列数据
df.groupby(col):返回一个按列col进行分组的Groupby对象
df.groupby([col1,col2]):返回一个按多列进行分组的Groupby对象
df.groupby(col1)[col2]:返回按列col1进行分组后,列col2的均值
df.pivot_table(index=col1, values=[col2,col3], aggfunc=max):创建一个按列col1进行分组,并计算col2和col3的最大值的数据透视表
df.groupby(col1).agg(np.mean):返回按列col1分组的所有列的均值
data.apply(np.mean):对DataFrame中的每一列应用函数np.mean
data.apply(np.max,axis=1):对DataFrame中的每一行应用函数np.max

数据合并

df1.append(df2):将df2中的行添加到df1的尾部
df.concat([df1, df2],axis=1):将df2中的列添加到df1的尾部
df1.join(df2,on=col1,how='inner'):对df1的列和df2的列执行SQL形式的join

数据统计

df.describe():查看数据值列的汇总统计
df.mean():返回所有列的均值
df.corr():返回列与列之间的相关系数
df.count():返回每一列中的非空值的个数
df.max():返回每一列的最大值
df.min():返回每一列的最小值
df.median():返回每一列的中位数
df.std():返回每一列的标准差

以上这篇python中csv文件的若干读写方法小结就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
在Python中使用itertools模块中的组合函数的教程
Apr 13 Python
TensorFlow高效读取数据的方法示例
Feb 06 Python
详解python的sorted函数对字典按key排序和按value排序
Aug 10 Python
python: 自动安装缺失库文件的方法
Oct 22 Python
在pycharm下设置自己的个性模版方法
Jul 15 Python
python Tcp协议发送和接收信息的例子
Jul 22 Python
python 如何将数据写入本地txt文本文件的实现方法
Sep 11 Python
python实现超市商品销售管理系统
Nov 22 Python
python flask中动态URL规则详解
Nov 22 Python
python torch.utils.data.DataLoader使用方法
Apr 02 Python
python实现音乐播放和下载小程序功能
Apr 26 Python
Django实现WebSocket在线聊天室功能(channels库)
Sep 25 Python
Python画柱状统计图操作示例【基于matplotlib库】
Jul 04 #Python
pandas将numpy数组写入到csv的实例
Jul 04 #Python
Python实现的简单排列组合算法示例
Jul 04 #Python
把csv文件转化为数组及数组的切片方法
Jul 04 #Python
解决python中使用plot画图,图不显示的问题
Jul 04 #Python
Django框架实现逆向解析url的方法
Jul 04 #Python
pandas 实现字典转换成DataFrame的方法
Jul 04 #Python
You might like
怎么使 Mysql 数据同步
2006/10/09 PHP
php连接odbc数据源并保存与查询数据的方法
2014/12/24 PHP
PHP  实现等比压缩图片尺寸和大小实例代码
2016/10/08 PHP
jQuery '行 4954 错误: 不支持该属性或方法' 的问题解决方法
2011/01/19 Javascript
侧栏跟随滚动的简单实现代码
2013/03/18 Javascript
JavaScript对象和字串之间的转换实例探讨
2013/04/21 Javascript
父页面显示遮罩层弹出半透明状态的dialog
2014/03/04 Javascript
javascript学习笔记(五)原型和原型链详解
2014/10/08 Javascript
jquery 插件实现多行文本框[textarea]自动高度
2015/03/04 Javascript
javascript实现汉字转拼音代码分享
2015/04/20 Javascript
JavaScript简单下拉菜单实例代码
2015/09/07 Javascript
js实现延时加载Flash的方法
2015/11/26 Javascript
jQuery实现的分子运动小球碰撞效果
2016/01/27 Javascript
jQuery使用siblings获取某元素所有同辈(兄弟姐妹)元素用法示例
2017/01/30 Javascript
AngularJs+Bootstrap实现漂亮的计算器
2017/08/10 Javascript
帝国cms首页列表页实现点赞功能
2017/10/30 Javascript
Parcel.js + Vue 2.x 极速零配置打包体验教程
2017/12/24 Javascript
vue中如何去掉空格的方法实现
2018/11/09 Javascript
基于Vue实现图片在指定区域内移动的思路详解
2018/11/11 Javascript
微信小程序自定义可滑动日历界面
2018/12/28 Javascript
微信小程序webview与h5通过postMessage实现实时通讯的实现
2019/08/20 Javascript
layui 弹出删除确认界面的实例
2019/09/06 Javascript
javascript操作向表格中动态加载数据
2020/08/27 Javascript
Python入门篇之字符串
2014/10/17 Python
Python魔法方法功能与用法简介
2019/04/04 Python
Python3使用TCP编写一个简易的文件下载器功能
2019/05/08 Python
教你一步步利用python实现贪吃蛇游戏
2019/06/27 Python
django的auth认证,authenticate和装饰器功能详解
2019/07/25 Python
Python如何调用JS文件中的函数
2019/08/16 Python
Python单链表原理与实现方法详解
2020/02/22 Python
CSS3 绘制BMW logo实的现代码
2013/04/25 HTML / CSS
《挑山工》的教学反思
2014/02/16 职场文书
连锁超市项目计划书
2014/09/15 职场文书
学生会感恩节活动方案
2014/10/11 职场文书
焦点访谈观后感
2015/06/11 职场文书
Win11远程连接不上怎么办?Win11远程桌面用不了的解决方法
2022/08/05 数码科技