详解pandas的外部数据导入与常用方法


Posted in Python onMay 01, 2019

外部数据导入

导入excel文件

pandas导入excel用read_excel()方法:

import pandas as pd


excel_file1 = pd.read_excel('data/测试.xlsx',encoding='utf-8')

姓名  年龄    工作    工资
0   张三  25    学生      200
1   李四  24    工人     3000
2   王伟  28    NaN      5000
3  王二毛  22  自由职业   6000

第一个参数是路径,既可以使用绝对路径又可以使用相对路径,如果文件名含有汉字,注意指定设置一下属性encoding = 'utf-8',另设置sheet_name指定具体的Sheet名字,也可传入sheet的顺序,从0开始。

excel_file1 = pd.read_excel('data/test.xlsx',sheet_name = 0)

指定索引

列索引默认从0开始,通过index_col设置,header设置行索引。

excel_file1 = pd.read_excel('data/测试.xlsx',encoding='utf-8',index_col=0)

年龄    工作    年资
姓名                
张三   25    学生      200
李四   24    工人     3000
王伟   28   NaN       5000
王二毛  22  自由职业   6000

excel_file1 = pd.read_excel('data/测试.xlsx',encoding='utf-8',header=1)

张三  25    学生     200
0   李四  24    工人    3000
1   王伟  28   NaN      5000
2  王二毛  22  自由职业  6000

指定索引列

有时本地文件列数太多,可以设置usercols指定导入的列,也可以列表形式传入多个值,表示传入哪些列。

excel_file1 = pd.read_excel('data/测试.xlsx',encoding='utf-8',usecols=[0,2])

姓名    工作
0   张三    学生
1   李四    工人
2   王伟    NaN
3  王二毛  自由职业

常用方法

  • shape() 可以获取excel文件的行和列,以元祖形式返回;
  • info() 获取数据类型;
  • astype() 可转换列里面的数据类型,括号里是要转换的目标类型;如 df[列2].astype('float64') ; df['列'].dtype 可查看列的类型
  • isnull() 判断哪个值是缺失值;
  • dropna() 删除有缺失值的行,返回删除后的数据,传入参数how=all,要全为空值才会删除;
  • fillna() 括号内可直接填入要要填充的值,也可指定列填充,以 字典 形式传参;
  • drop_duplicates() 默认对所有重复值判断,默认保留 keep=first 第一个行值;通过 keep 修改,值可为 last ,保留最后一个,还可设置 keep 为 False ,一个也不保留。另也可指定列名去重,如传入参数 subset =['列名1,列名2'],注意是以列表形式传参;
  • head() 传入的参数代表获取前几行;
  • describe() 掌握数值的分布情况,如均值,最值,方差,分位数。
  • column 和 index 可设置 列索引 和 行索引 ,以 列表 形式传参;
  • set_index() 重新设置索引列,传入要指名要用做行索引的名称;
  • reset_index(level = None,drop=False,inplace = False) ,level指定要将层次化索引的第几级别转化为 columns ,第一个索引为0级,第二个为1级,默认全部转化为columns。 drop 是否将原索引删掉, inplace 是否修改原数据表;该方法常用于数据分组和数据透视表中。
  • rename() 重命名索引,可重新设置 columns 和 index ,以 字典 形式传参, key 为原值, value 为替换后的值。

导入CSV文件

pandas导入csv文件用read_csv()方法;

import pandas as pd
csv_file1 = pd.read_csv('.\\data\\train-pivot.csv',index_col=0,header=0,nrows = 2)

通过 sep 设置分割符, encoding 指定编码格式。导入csv文件要指定为gbk,不然会报错,如果一个大文件你只需看前面几行,通过 nrows 设置。

import pandas as pd
csv_file1 = pd.read_csv('data/train-pivot.csv',encoding='gbk',nrows=2)
print(csv_file1)

用户ID 客户分类    区域 是否省会  7月销量  8月销量 
0  59224   A类  一线城市    是     6    20     0
1  55295   B类  三线城市    否    37    27    35

可以设置 usercols 指定导入的列。

用户ID    区域
0  59224  一线城市
1  55295  三线城市
2  46035  二线城市
3   2459  一线城市
4  22179  三线城市

导入sql

pandas中有 read_sql() 方法:

import pandas as pd
import pymysql
# 创建连接
conn = pymysql.connect(host = 'localhost',user = 'python',
            password = 'passwd',db = 'test',
            charset = 'utf-8'
            )
'''
user:用户名
password:密码
host:数据库地址/本机用localhost
db:数据库名
charset:编码,一般为utf-8
'''
sql = "SELECT * FROM user" # 写要执行的sql语句
pd.read_sql(sql,conn)

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python中的index()方法使用教程
May 18 Python
python中os模块详解
Oct 14 Python
Python编程实现双击更新所有已安装python模块的方法
Jun 05 Python
使用11行Python代码盗取了室友的U盘内容
Oct 23 Python
PyQt5内嵌浏览器注入JavaScript脚本实现自动化操作的代码实例
Feb 13 Python
详解如何管理多个Python版本和虚拟环境
May 10 Python
Python 列表去重去除空字符的例子
Jul 20 Python
聊聊python中的异常嵌套
Sep 01 Python
matplotlib设置颜色、标记、线条,让你的图像更加丰富(推荐)
Sep 25 Python
flask项目集成swagger的方法
Dec 09 Python
手把手教你实现PyTorch的MNIST数据集
Jun 28 Python
Django模型层实现多表关系创建和多表操作
Jul 21 Python
Python3.5文件读与写操作经典实例详解
May 01 #Python
Python3.5集合及其常见运算实例详解
May 01 #Python
Django给admin添加Action的步骤详解
May 01 #Python
Django重置migrations文件的方法步骤
May 01 #Python
OpenCV-Python 摄像头实时检测人脸代码实例
Apr 30 #Python
浅谈Python编程中3个常用的数据结构和算法
Apr 30 #Python
python通过paramiko复制远程文件及文件目录到本地
Apr 30 #Python
You might like
php中长文章分页显示实现代码
2012/09/29 PHP
解析posix与perl标准的正则表达式区别
2013/06/17 PHP
php中动态调用函数的方法
2015/03/16 PHP
PHP MPDF中文乱码的解决方式
2015/12/08 PHP
PHP十六进制颜色随机生成器功能示例
2017/07/24 PHP
Mac下关于PHP环境和扩展的安装详解
2019/10/17 PHP
JSON.parse 解析字符串出错的解决方法
2010/07/08 Javascript
JS高级笔记
2011/07/13 Javascript
响应式表格之固定表头的简单实现
2016/08/26 Javascript
详细总结Javascript中的焦点管理
2016/09/17 Javascript
node.js学习之事件模块Events的使用示例
2017/09/28 Javascript
nodejs高大上的部署方式(PM2)
2018/09/11 NodeJs
angularjs实现table表格td单元格单击变输入框/可编辑状态示例
2019/02/21 Javascript
layui监听下拉选框选中值变化的方法(包含监听普通下拉选框)
2019/09/24 Javascript
[54:15]DOTA2-DPC中国联赛 正赛 DLG vs Dragon BO3 第二场2月1日
2021/03/11 DOTA
python列出目录下指定文件与子目录的方法
2015/07/03 Python
NumPy 如何生成多维数组的方法
2018/02/05 Python
打包python 加icon 去掉cmd黑窗口方法
2019/06/24 Python
python plotly绘制直方图实例详解
2019/07/22 Python
详解django实现自定义manage命令的扩展
2019/08/13 Python
python中的split()函数和os.path.split()函数使用详解
2019/12/21 Python
pycharm第三方库安装失败的问题及解决经验分享
2020/05/09 Python
python属于跨平台语言码
2020/06/09 Python
利用python清除移动硬盘中的临时文件
2020/10/28 Python
selenium判断元素是否存在的两种方法小结
2020/12/07 Python
Giglio英国站:意大利奢侈品购物网
2018/03/06 全球购物
招商业务员岗位职责
2013/12/16 职场文书
房地产财务部员工岗位职责
2014/03/12 职场文书
装修协议书范本
2014/04/21 职场文书
气象学专业个人求职信
2014/04/22 职场文书
求职信怎么写
2014/05/23 职场文书
竞选学习委员演讲稿
2014/09/01 职场文书
课外活动实习计划
2015/01/19 职场文书
Go Gin实现文件上传下载的示例代码
2021/04/02 Golang
通过T-SQL语句创建游标与实现数据库加解密功能
2022/03/16 SQL Server
Python使用BeautifulSoup4修改网页内容
2022/05/20 Python