利用python进行数据加载


Posted in Python onJune 20, 2021

前言

最近参加了datawhale的组队学习活动,在组队学习动员下,开始通过强迫自己输出来实现更好的输入与处理,6-15开始自己的第一次文章发布,我会把自己这个真的很小白遇到的问题写出来,希望能给屏幕前小白的你带来帮助。

工作中大量繁琐的自动化,把以前在学校摸过的python重新捡起来,不成体系的、拼图一样把需要的工作搭建起来,工作暂时是可用上了,每天节省了至少3个小时的数据处理工作,手里拿着python这个锤子,看什么都像钉子。

首先,你要先学会安装软件,anaconda软件,安装成功后,你点击jupyter notebook打开代码框。

现在可以开始尝试做数据分析了。

一、数据加载

1.1 载入数据

数据集下载 https://www.kaggle.com/c/titanic/overview

1.1.1 导入包

导入numpy和pandas

import pandas as pd
import numpy as np

如果出错了,需要注意大小写、有没有单词写错了

1.1.2 载入数据

(1) 使用相对路径载入数据
(2) 使用绝对路径载入数据  

df = pd.read_csv('train.csv')
df.head(3)
df = pd.read_csv('/Users/Documents/train.csv')
df.head(3)

注意绝对路径的 “  /  ” 方向不要错。

1.1.3 大文件时要分块读取

每1000行为一个数据模块,逐块读取

chunker = pd.read_csv('train.csv', chunksize=1000)

1.1.4

对着整个表修改列名:将表头改成中文,索引改为乘客ID ,要注意的是,要记得把名字跟列一一对上,数量对上、顺序对上

PassengerId => 乘客ID
Survived => 是否幸存
Pclass => 乘客等级(1/2/3等舱位)
Name => 乘客姓名
Sex => 性别
Age => 年龄
SibSp => 堂兄弟/妹个数
Parch => 父母与小孩个数
Ticket => 船票信息
Fare => 票价
Cabin => 客舱
Embarked => 登船港口

df = pd.read_csv('train.csv', names=['乘客ID','是否幸存','仓位等级','姓名','性别','年龄','兄弟姐妹个数','父母子女个数','船票信息','票价','客舱','登船港口'],index_col='乘客ID',header=0)
df.head()

1.2 初步观察

导入数据后,我们可以对数据的整体结构和样例进行概览,比如说,数据大小、有多少列,各列都是什么格式的,是否包含null等。info 后面加()跟不加()会 有不同的内容。

print(df.info())

如想在python的查看数据,可以用head

df.head(10)
df.tail(15)

判断数据是否为空,为空的地方返回True,其余地方返回False

df.isnull().head()

1.3 保存数据

在工作目录下保存为一个新文件train_chinese.csv,如不希望表格自带index,可以加入index=false

df.to_csv('train_chinese.csv',index=flase)

 

到此这篇关于利用python进行数据加载的文章就介绍到这了,更多相关python数据加载内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python基于twisted实现简单的web服务器
Sep 29 Python
将Django使用的数据库从MySQL迁移到PostgreSQL的教程
Apr 11 Python
利用Python循环(包括while&for)各种打印九九乘法表的实例
Nov 06 Python
python实现xlsx文件分析详解
Jan 02 Python
Django使用HttpResponse返回图片并显示的方法
May 22 Python
Python for循环生成列表的实例
Jun 15 Python
python3+opencv3识别图片中的物体并截取的方法
Dec 05 Python
python买卖股票的最佳时机(基于贪心/蛮力算法)
Jul 05 Python
Django rstful登陆认证并检查session是否过期代码实例
Aug 13 Python
Django DRF认证组件流程实现原理详解
Aug 17 Python
Python通过format函数格式化显示值
Oct 17 Python
python垃圾回收机制原理分析
Apr 13 Python
Python编解码问题及文本文件处理方法详解
浅谈Python协程asyncio
Jun 20 #Python
Python3接口性能测试实例代码
Jun 20 #Python
使用Djongo模块在Django中使用MongoDB数据库
python自动计算图像数据集的RGB均值
详解如何用Python实现感知器算法
python中24小时制转换为12小时制的方法
Jun 18 #Python
You might like
MYSQL数据库初学者使用指南
2006/11/16 PHP
PHP对象Object的概念 介绍
2012/06/14 PHP
PHPMailer邮件发送的实现代码
2013/05/04 PHP
django中的ajax组件教程详解
2018/10/18 PHP
jquery png 透明解决方案(推荐)
2010/08/21 Javascript
js跨域访问示例(客户端/服务端)
2014/05/19 Javascript
jQuery实现列表自动滚动循环滚动展示新闻
2014/08/22 Javascript
JavaScript给按钮绑定点击事件(onclick)的方法
2015/04/07 Javascript
简介JavaScript中POSITIVE_INFINITY值的使用
2015/06/05 Javascript
Javascript之深入浅出prototype
2017/02/06 Javascript
Angular多选、全选、批量选择操作实例代码
2017/03/10 Javascript
React简单介绍
2017/05/24 Javascript
jQuery实现base64前台加密解密功能详解
2017/08/29 jQuery
让Vue也可以使用Redux的方法
2018/05/23 Javascript
vue-resource请求实现http登录拦截或者路由拦截的方法
2018/07/11 Javascript
javascript实现计算指定范围内的质数示例
2018/12/29 Javascript
js实现简易计算器功能
2019/10/18 Javascript
解决Vue的项目使用Element ui 走马灯无法实现的问题
2020/08/03 Javascript
python和C语言混合编程实例
2014/06/04 Python
python实现从web抓取文档的方法
2014/09/26 Python
Python import用法以及与from...import的区别
2015/05/28 Python
Python IDLE清空窗口的实例
2018/06/25 Python
Spring Cloud Feign高级应用实例详解
2019/12/10 Python
Python自动发送和收取邮件的方法
2020/08/12 Python
通过实例了解python__slots__使用方法
2020/09/14 Python
python如何绘制疫情图
2020/09/16 Python
CSS3的column-fill属性对齐列内容高度的用法详解
2016/07/01 HTML / CSS
利用CSS3制作简单的3d半透明立方体图片展示
2017/03/25 HTML / CSS
美国现代家具网站:Design Within Reach
2018/07/19 全球购物
生物制药专业求职信
2014/03/11 职场文书
车间主任岗位职责
2014/03/16 职场文书
项目建议书怎么写
2014/05/15 职场文书
大学生撤销处分思想汇报
2014/09/12 职场文书
库房管理员岗位职责
2015/02/12 职场文书
2015年度培训工作总结范文
2015/04/02 职场文书
初三英语教学反思
2016/02/15 职场文书