pandas数据集的端到端处理


Posted in Python onFebruary 18, 2019

1. 数据集基本信息

df = pd.read_csv()

df.head():前五行;

df.info():

  • rangeindex:行索引;
  • data columns:列索引;
  • dtypes:各个列的类型,
  • 主体部分是各个列值的情况,比如可判断是否存在 NaN 值;

对于非数值型的属性列

  • df[‘some_categorical_columns'].value_counts():取值分布;

df.describe(): 各个列的基本统计信息

  • count
  • mean
  • std
  • min/max
  • 25%, 50%, 75%:分位数

df.hist(bins=50, figsize=(20, 15)):统计直方图;

对 df 的每一列进行展示:

train_prices = pd.DataFrame({'price': train_df.SalePrice, 
    'log(price+1)': np.log1p(train_df.SalePrice)})
 # train_prices 共两列,一列列名为 price,一列列名为 log(price+1)
train_prices.hist()

2. 数据集拆分

def split_train_test(data, test_ratio=.3):
 shuffled_indices = np.random.permutation(len(data))
 test_size = int(len(data)*test_ratio)
 test_indices = shuffled_indices[:test_size]
 train_indices = shuffled_indices[test_size:]
 return data.iloc[train_indices], data.iloc[test_indices]

3. 数据预处理

  • 一键把 categorical 型特征(字符串类型)转化为数值型:
>> df['label'] = pd.Categorical(df['label']).codes
  • 一键把 categorical 型特征(字符串类型)转化为 one-hot 编码:
>> df = pd.get_dummies(df)
  • null 值统计与填充:
>> df.isnull().sum().sort_values(ascending=False).head()
# 填充为 mean 值
>> mean_cols = df.mean()
>> df = df.fillna(mean_cols)
>> df.isnull().sum().sum()
0

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对三水点靠木的支持。如果你想了解更多相关内容请查看下面相关链接

Python 相关文章推荐
在Python中操作文件之truncate()方法的使用教程
May 25 Python
Python修改MP3文件的方法
Jun 15 Python
使用Python读写及压缩和解压缩文件的示例
Jul 08 Python
Python Socket实现简单TCP Server/client功能示例
Aug 05 Python
名片管理系统python版
Jan 11 Python
Python Paramiko模块的使用实际案例
Feb 01 Python
我用Python抓取了7000 多本电子书案例详解
Mar 25 Python
扩展Django admin的list_filter()可使用范围方法
Aug 21 Python
python 子类调用父类的构造函数实例
Mar 12 Python
Autopep8的使用(python自动编排工具)
Mar 02 Python
python中%格式表达式实例用法
Jun 18 Python
用 Python 定义 Schema 并生成 Parquet 文件详情
Sep 25 Python
Python 数据库操作 SQLAlchemy的示例代码
Feb 18 #Python
Python列表常见操作详解(获取,增加,删除,修改,排序等)
Feb 18 #Python
Python File(文件) 方法整理
Feb 18 #Python
Python异常处理知识点总结
Feb 18 #Python
Python os.access()用法实例
Feb 18 #Python
python使用pipeline批量读写redis的方法
Feb 18 #Python
Python变量类型知识点总结
Feb 18 #Python
You might like
php下目前为目最全的CURL中文说明
2010/08/01 PHP
php错误提示failed to open stream: HTTP request failed!的完美解决方法
2011/06/06 PHP
CodeIgniter框架中_remap()使用方法2例
2014/03/10 PHP
js基于qrcode.js生成二维码的方法【附demo插件源码下载】
2016/12/28 PHP
yii2 url重写并隐藏index.php方法
2018/12/10 PHP
php 使用ActiveMQ发送消息,与处理消息操作示例
2020/02/23 PHP
php对mongodb的扩展(小试牛刀)
2012/11/11 Javascript
JQuery获取或设置ckeditor的数据(示例代码)
2013/11/15 Javascript
javascript批量修改文件编码格式的方法
2015/01/27 Javascript
jquery实现动态改变div宽度和高度
2015/05/08 Javascript
AngularJS入门教程引导程序
2016/08/18 Javascript
Boostrap基础教程之JavaScript插件篇
2016/09/08 Javascript
jquery滚动条插件(可以自定义)
2016/12/11 Javascript
json数据处理及数据绑定
2017/01/25 Javascript
浅谈angular4实际项目搭建总结
2017/12/01 Javascript
jQuery实现滑动开关效果
2020/08/02 jQuery
微信小程序淘宝首页双排图片布局排版代码(推荐)
2020/10/29 Javascript
python数组复制拷贝的实现方法
2015/06/09 Python
Python实现在线音乐播放器
2017/03/03 Python
Python 多线程Threading初学教程
2017/08/22 Python
Python之批量创建文件的实例讲解
2018/05/10 Python
浅析Python装饰器以及装饰器模式
2018/05/28 Python
python生成1行四列全2矩阵的方法
2018/08/04 Python
Python 用matplotlib画以时间日期为x轴的图像
2019/08/06 Python
解决Opencv+Python cv2.imshow闪退问题
2020/04/24 Python
Python如何批量生成和调用变量
2020/11/21 Python
用python 绘制茎叶图和复合饼图
2021/02/26 Python
印尼在线旅游门户网站:NusaTrip
2019/11/01 全球购物
巴西箱包、背包、钱包和旅行配件购物网站:Inovathi
2019/12/14 全球购物
高一英语教学反思
2014/01/22 职场文书
融资租赁计划书
2014/04/29 职场文书
期末复习计划
2015/01/19 职场文书
招标保密承诺书
2015/01/20 职场文书
运动会开幕式主持词
2015/07/01 职场文书
廉政党课工作报告案例
2019/06/21 职场文书
Python Pycharm虚拟下百度飞浆PaddleX安装报错问题及处理方法(亲测100%有效)
2021/05/24 Python