详解pandas的外部数据导入与常用方法


Posted in Python onMay 01, 2019

外部数据导入

导入excel文件

pandas导入excel用read_excel()方法:

import pandas as pd


excel_file1 = pd.read_excel('data/测试.xlsx',encoding='utf-8')

姓名  年龄    工作    工资
0   张三  25    学生      200
1   李四  24    工人     3000
2   王伟  28    NaN      5000
3  王二毛  22  自由职业   6000

第一个参数是路径,既可以使用绝对路径又可以使用相对路径,如果文件名含有汉字,注意指定设置一下属性encoding = 'utf-8',另设置sheet_name指定具体的Sheet名字,也可传入sheet的顺序,从0开始。

excel_file1 = pd.read_excel('data/test.xlsx',sheet_name = 0)

指定索引

列索引默认从0开始,通过index_col设置,header设置行索引。

excel_file1 = pd.read_excel('data/测试.xlsx',encoding='utf-8',index_col=0)

年龄    工作    年资
姓名                
张三   25    学生      200
李四   24    工人     3000
王伟   28   NaN       5000
王二毛  22  自由职业   6000

excel_file1 = pd.read_excel('data/测试.xlsx',encoding='utf-8',header=1)

张三  25    学生     200
0   李四  24    工人    3000
1   王伟  28   NaN      5000
2  王二毛  22  自由职业  6000

指定索引列

有时本地文件列数太多,可以设置usercols指定导入的列,也可以列表形式传入多个值,表示传入哪些列。

excel_file1 = pd.read_excel('data/测试.xlsx',encoding='utf-8',usecols=[0,2])

姓名    工作
0   张三    学生
1   李四    工人
2   王伟    NaN
3  王二毛  自由职业

常用方法

  • shape() 可以获取excel文件的行和列,以元祖形式返回;
  • info() 获取数据类型;
  • astype() 可转换列里面的数据类型,括号里是要转换的目标类型;如 df[列2].astype('float64') ; df['列'].dtype 可查看列的类型
  • isnull() 判断哪个值是缺失值;
  • dropna() 删除有缺失值的行,返回删除后的数据,传入参数how=all,要全为空值才会删除;
  • fillna() 括号内可直接填入要要填充的值,也可指定列填充,以 字典 形式传参;
  • drop_duplicates() 默认对所有重复值判断,默认保留 keep=first 第一个行值;通过 keep 修改,值可为 last ,保留最后一个,还可设置 keep 为 False ,一个也不保留。另也可指定列名去重,如传入参数 subset =['列名1,列名2'],注意是以列表形式传参;
  • head() 传入的参数代表获取前几行;
  • describe() 掌握数值的分布情况,如均值,最值,方差,分位数。
  • column 和 index 可设置 列索引 和 行索引 ,以 列表 形式传参;
  • set_index() 重新设置索引列,传入要指名要用做行索引的名称;
  • reset_index(level = None,drop=False,inplace = False) ,level指定要将层次化索引的第几级别转化为 columns ,第一个索引为0级,第二个为1级,默认全部转化为columns。 drop 是否将原索引删掉, inplace 是否修改原数据表;该方法常用于数据分组和数据透视表中。
  • rename() 重命名索引,可重新设置 columns 和 index ,以 字典 形式传参, key 为原值, value 为替换后的值。

导入CSV文件

pandas导入csv文件用read_csv()方法;

import pandas as pd
csv_file1 = pd.read_csv('.\\data\\train-pivot.csv',index_col=0,header=0,nrows = 2)

通过 sep 设置分割符, encoding 指定编码格式。导入csv文件要指定为gbk,不然会报错,如果一个大文件你只需看前面几行,通过 nrows 设置。

import pandas as pd
csv_file1 = pd.read_csv('data/train-pivot.csv',encoding='gbk',nrows=2)
print(csv_file1)

用户ID 客户分类    区域 是否省会  7月销量  8月销量 
0  59224   A类  一线城市    是     6    20     0
1  55295   B类  三线城市    否    37    27    35

可以设置 usercols 指定导入的列。

用户ID    区域
0  59224  一线城市
1  55295  三线城市
2  46035  二线城市
3   2459  一线城市
4  22179  三线城市

导入sql

pandas中有 read_sql() 方法:

import pandas as pd
import pymysql
# 创建连接
conn = pymysql.connect(host = 'localhost',user = 'python',
            password = 'passwd',db = 'test',
            charset = 'utf-8'
            )
'''
user:用户名
password:密码
host:数据库地址/本机用localhost
db:数据库名
charset:编码,一般为utf-8
'''
sql = "SELECT * FROM user" # 写要执行的sql语句
pd.read_sql(sql,conn)

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
使用python编写批量卸载手机中安装的android应用脚本
Jul 21 Python
python用来获得图片exif信息的库实例分析
Mar 16 Python
python 全文检索引擎详解
Apr 25 Python
Python+matplotlib实现填充螺旋实例
Jan 15 Python
TensorFlow实现RNN循环神经网络
Feb 28 Python
Python+OpenCV采集本地摄像头的视频
Apr 25 Python
Python列表原理与用法详解【创建、元素增加、删除、访问、计数、切片、遍历等】
Oct 30 Python
使用tensorboard可视化loss和acc的实例
Jan 21 Python
浅谈numpy中np.array()与np.asarray的区别以及.tolist
Jun 03 Python
Python基于数列实现购物车程序过程详解
Jun 09 Python
浅谈python处理json和redis hash的坑
Jul 16 Python
python 实现ping测试延迟的两种方法
Dec 10 Python
Python3.5文件读与写操作经典实例详解
May 01 #Python
Python3.5集合及其常见运算实例详解
May 01 #Python
Django给admin添加Action的步骤详解
May 01 #Python
Django重置migrations文件的方法步骤
May 01 #Python
OpenCV-Python 摄像头实时检测人脸代码实例
Apr 30 #Python
浅谈Python编程中3个常用的数据结构和算法
Apr 30 #Python
python通过paramiko复制远程文件及文件目录到本地
Apr 30 #Python
You might like
用PHP实现验证码功能
2006/10/09 PHP
PHP取余函数介绍MOD(x,y)与x%y
2014/05/15 PHP
php获取json数据所有的节点路径
2015/05/17 PHP
纯CSS打造的导航菜单(附jquery版)
2010/08/07 Javascript
Node.js实战 建立简单的Web服务器
2012/03/08 Javascript
jQuery中setTimeout的几种使用方法小结
2013/04/07 Javascript
HTTP 304错误的详细讲解
2013/11/13 Javascript
深入理解JQuery keyUp和keyDown的区别
2013/12/12 Javascript
用javascript替换URL中的参数值示例代码
2014/01/27 Javascript
js获得参数的getParameter使用示例
2014/02/26 Javascript
在JS数组特定索引处指定位置插入元素
2014/07/27 Javascript
基于jQuery下拉选择框插件支持单选多选功能代码
2016/06/07 Javascript
js仿百度切换皮肤功能(html+css)
2016/07/10 Javascript
详解设置Webstorm 利用babel将ES6自动转码成ES5
2017/12/20 Javascript
vue中如何实现后台管理系统的权限控制的方法示例
2018/09/19 Javascript
JavaScript 点击触发复制功能实例详解
2018/11/02 Javascript
js图数据结构处理 迪杰斯特拉算法代码实例
2019/09/11 Javascript
Javascript异步编程async实现过程详解
2020/04/02 Javascript
Python ZipFile模块详解
2013/11/01 Python
Python实现批量修改文件名实例
2015/07/08 Python
在Python的Django框架中加载模版的方法
2015/07/16 Python
深入理解Python中range和xrange的区别
2017/11/26 Python
python实现mysql的读写分离及负载均衡
2018/02/04 Python
django 多数据库配置教程
2018/05/30 Python
用pytorch的nn.Module构造简单全链接层实例
2020/01/14 Python
Foot Locker意大利官网:全球领先的运动鞋和服装零售商
2017/05/30 全球购物
英国领先的男装设计师服装购物网站:Mainline Menswear
2018/02/04 全球购物
新加坡交友网站:be2新加坡
2019/04/10 全球购物
Probikekit欧盟:在线公路自行车专家
2019/07/12 全球购物
亚洲领先的旅游体验市场:Voyagin
2019/11/23 全球购物
应届大学毕业生找工作的求职信范文
2013/11/29 职场文书
英语系本科生求职信范文
2013/12/18 职场文书
优秀学生干部先进事迹材料
2014/05/26 职场文书
2015年度环卫处工作总结
2015/07/24 职场文书
小学一年级语文教学反思
2016/03/03 职场文书
Java反应式框架Reactor中的Mono和Flux
2021/07/25 Java/Android