python中csv文件的若干读写方法小结


Posted in Python onJuly 04, 2018

如下所示:

//用普通文本文件方式打开和操作

with open("'file.csv'") as cf:
    lines=cf.readlines()
    ......
//用普通文本方式打开,用csv模块操作

import csv
with open("file.csv") as cf:
    lines=csv.reader(cf)
    for line in lines:
        print(line)
    ......
import csv
headers=['id','username','password','age','country']
rows=[(1001,'qiye','qiye_pass',20,'china'),(1002,'mary','mary_pass',23,'usa')]
f=open("csvfile.csv",'a+')
wf =csv.writer(f)
wf.writerow(headers)
wf.writerows(rows)
f.close()

csv模块相关方法和属性

csv.writer(fileobj [, dialect='excel'][optional keyword args])返回DictWriter类

csv.reader(iterable [, dialect='excel'][,optional keyword args])返回DictRead类

csv.writer(csvfile.csv).writerow(rowdict)

csv.DictWriter.writerow()

csv.DictWriter.writeheader()

csv.DictWriter.writerows()

csv.writer(csvfile.csv).writerow(rowdicts)

csv.reader(csvfile.csv).next()

csv.DictReader.next()

csv.field_size_limit()

csv.get_dialect()

csv.list_dialects()

csv.reduce(funtion,sequence)

csv.register_dialect()

csv.re 类

csv.DictWriter类

csv.DictReader类

//用pandas模块打开和操作

import pandas as pd
csvpd=pd.read_excel(filepath)
......
csvpd.to_csv(filepath)
#csvpd为pandas.DataFrame类

第三方pandas模块的常用方法属性

df:任意的Pandas DataFrame对象
s:任意的Pandas Series对象
同时我们需要做如下的引入:
import pandas as pd
import numpy as np

导入数据

pd.read_csv(filename):从CSV文件导入数据
pd.read_table(filename):从限定分隔符的文本文件导入数据
pd.read_excel(filename):从Excel文件导入数据
pd.read_sql(query, connection_object):从SQL表/库导入数据
pd.read_json(json_string):从JSON格式的字符串导入数据
pd.read_html(url):解析URL、字符串或者HTML文件,抽取其中的tables表格
pd.read_clipboard():从你的粘贴板获取内容,并传给read_table()
pd.DataFrame(dict):从字典对象导入数据,Key是列名,Value是数据

导出数据

df.to_csv(filename):导出数据到CSV文件
df.to_excel(filename):导出数据到Excel文件
df.to_sql(table_name, connection_object):导出数据到SQL表
df.to_json(filename):以Json格式导出数据到文本文件

创建测试对象

pd.DataFrame(np.random.rand(20,5)):创建20行5列的随机数组成的DataFrame对象
pd.Series(my_list):从可迭代对象my_list创建一个Series对象
df.index = pd.date_range(‘1900/1/30', periods=df.shape[0]):增加一个日期索引

查看、检查数据

df.head(n):查看DataFrame对象的前n行
df.tail(n):查看DataFrame对象的最后n行
df.shape():查看行数和列数
df.info():查看索引、数据类型和内存信息
df.describe():查看数值型列的汇总统计
s.value_counts(dropna=False):查看Series对象的唯一值和计数
df.apply(pd.Series.value_counts):查看DataFrame对象中每一列的唯一值和计数

数据选取

df[col]:根据列名,并以Series的形式返回列
df[[col1, col2]]:以DataFrame形式返回多列
s.iloc[0]:按位置选取数据
s.loc[‘index_one']:按索引选取数据
df.iloc[0,:]:返回第一行
df.iloc[0,0]:返回第一列的第一个元素

数据清理

df.columns = [‘a','b','c']:重命名列名
pd.isnull():检查DataFrame对象中的空值,并返回一个Boolean数组
pd.notnull():检查DataFrame对象中的非空值,并返回一个Boolean数组
df.dropna():删除所有包含空值的行
df.dropna(axis=1):删除所有包含空值的列
df.dropna(axis=1,thresh=n):删除所有小于n个非空值的行
df.fillna(x):用x替换DataFrame对象中所有的空值
s.astype(float):将Series中的数据类型更改为float类型
s.replace(1,'one'):用‘one'代替所有等于1的值
s.replace([1,3],[‘one','three']):用'one'代替1,用'three'代替3
df.rename(columns=lambda x: x + 1):批量更改列名
df.rename(columns={‘old_name': ‘new_ name'}):选择性更改列名
df.set_index(‘column_one'):更改索引列
df.rename(index=lambda x: x + 1):批量重命名索引

数据处理:Filter 、Sort 和 GroupBy

df[df[col] > 0.5]:选择col列的值大于0.5的行
df.sort_values(col1):按照列col1排序数据,默认升序排列
df.sort_values(col2, ascending=False):按照列col1降序排列数据
df.sort_values([col1,col2], ascending=[True,False]):先按列col1升序排列,后按col2降序排列数据
df.groupby(col):返回一个按列col进行分组的Groupby对象
df.groupby([col1,col2]):返回一个按多列进行分组的Groupby对象
df.groupby(col1)[col2]:返回按列col1进行分组后,列col2的均值
df.pivot_table(index=col1, values=[col2,col3], aggfunc=max):创建一个按列col1进行分组,并计算col2和col3的最大值的数据透视表
df.groupby(col1).agg(np.mean):返回按列col1分组的所有列的均值
data.apply(np.mean):对DataFrame中的每一列应用函数np.mean
data.apply(np.max,axis=1):对DataFrame中的每一行应用函数np.max

数据合并

df1.append(df2):将df2中的行添加到df1的尾部
df.concat([df1, df2],axis=1):将df2中的列添加到df1的尾部
df1.join(df2,on=col1,how='inner'):对df1的列和df2的列执行SQL形式的join

数据统计

df.describe():查看数据值列的汇总统计
df.mean():返回所有列的均值
df.corr():返回列与列之间的相关系数
df.count():返回每一列中的非空值的个数
df.max():返回每一列的最大值
df.min():返回每一列的最小值
df.median():返回每一列的中位数
df.std():返回每一列的标准差

以上这篇python中csv文件的若干读写方法小结就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
phpsir 开发 一个检测百度关键字网站排名的python 程序
Sep 17 Python
Django中处理出错页面的方法
Jul 15 Python
Python中运算符"=="和"is"的详解
Oct 08 Python
在python环境下运用kafka对数据进行实时传输的方法
Dec 27 Python
在Pycharm中将pyinstaller加入External Tools的方法
Jan 16 Python
Python3调用百度AI识别图片中的文字功能示例【测试可用】
Mar 13 Python
pandas读取CSV文件时查看修改各列的数据类型格式
Jul 07 Python
python 批量添加的button 使用同一点击事件的方法
Jul 17 Python
Python pandas RFM模型应用实例详解
Nov 20 Python
解决ROC曲线画出来只有一个点的问题
Feb 28 Python
Python通过两个dataframe用for循环求笛卡尔积
Apr 29 Python
python如何实现DES加密
Sep 21 Python
Python画柱状统计图操作示例【基于matplotlib库】
Jul 04 #Python
pandas将numpy数组写入到csv的实例
Jul 04 #Python
Python实现的简单排列组合算法示例
Jul 04 #Python
把csv文件转化为数组及数组的切片方法
Jul 04 #Python
解决python中使用plot画图,图不显示的问题
Jul 04 #Python
Django框架实现逆向解析url的方法
Jul 04 #Python
pandas 实现字典转换成DataFrame的方法
Jul 04 #Python
You might like
示例详解Laravel重置密码代码重构
2016/08/10 PHP
php自定义函数转换html标签示例
2016/09/29 PHP
php+mongodb判断坐标是否在指定多边形区域内的实例
2016/10/28 PHP
javascript闭包的理解和实例
2010/08/12 Javascript
利用JS实现浏览器的title闪烁
2013/07/08 Javascript
jquery中change()用法实例分析
2015/02/06 Javascript
分享9点个人认为比较重要的javascript 编程技巧
2015/04/27 Javascript
基于bootstrap实现广告轮播带图片和文字效果
2016/07/22 Javascript
domReady的实现案例
2016/11/23 Javascript
JavaScript中transform实现数字翻页效果
2017/03/08 Javascript
js使用i18n实现页面国际化的方法
2017/05/09 Javascript
微信小程序制作扭蛋机代码实例
2019/09/24 Javascript
JavaScript 作用域scope简单汇总
2019/10/23 Javascript
Vue中jsx不完全应用指南小结
2019/11/01 Javascript
使用Python实现BT种子和磁力链接的相互转换
2015/11/09 Python
利用python实现数据分析
2017/01/11 Python
基于Python和Scikit-Learn的机器学习探索
2017/10/16 Python
Python数据结构与算法之完全树与最小堆实例
2017/12/13 Python
Python3.6实现根据电影名称(支持电视剧名称),获取下载链接的方法
2019/08/26 Python
python读取指定字节长度的文本方法
2019/08/27 Python
Python如何自动获取目标网站最新通知
2020/06/18 Python
Python configparser模块应用过程解析
2020/08/14 Python
澳大利亚排名第一的狂热牛仔品牌:ONETEASPOON
2018/11/20 全球购物
美国在线医疗分销商:MedEx Supply
2020/02/04 全球购物
Scotch Porter官方网站:男士美容产品
2020/08/31 全球购物
PHP面试题及答案二
2015/05/23 面试题
财务与信息服务专业推荐信
2013/11/28 职场文书
甜品蛋糕店创业计划书范文
2014/02/06 职场文书
搞笑的获奖感言
2014/08/16 职场文书
合伙经营协议书范本(通用版)
2014/12/03 职场文书
表彰大会新闻稿
2015/07/17 职场文书
2015新员工工作总结范文
2015/10/15 职场文书
MySQL 角色(role)功能介绍
2021/04/24 MySQL
利用Pycharm连接服务器的全过程记录
2021/07/01 Python
CSS实现两列布局的N种方法
2021/08/02 HTML / CSS
千万级用户系统SQL调优实战分享
2022/03/03 MySQL