pandas读取CSV文件时查看修改各列的数据类型格式


Posted in Python onJuly 07, 2019

下面给大家介绍下pandas读取CSV文件时查看修改各列的数据类型格式,具体内容如下所述:

我们在调bug的时候会经常查看、修改pandas列数据的数据类型,今天就总结一下:

1.查看:

   Numpy和Pandas的查看方式略有不同,一个是dtype,一个是dtypes

print(Array.dtype)
#输出int64
print(df.dtypes)
#输出Df下所有列的数据格式 a:int64,b:int64

2.修改

import pandas as pd
import numpy as np
df = pd.read_csv('000917.csv',encoding='gbk')
df = df[df['涨跌幅']!='None']
df['涨跌幅'] = df['涨跌幅'].astype(np.float64)

print(df[df['涨跌幅']>5])

ps:在Pandas中更改列的数据类型

先看一个非常简单的例子:

a = [['a', '1.2', '4.2'], ['b', '70', '0.03'], ['x', '5', '0']]
df = pd.DataFrame(a)

有什么方法可以将列转换为适当的类型?例如,上面的例子,如何将列2和3转为浮点数?有没有办法将数据转换为DataFrame格式时指定类型?或者是创建DataFrame,然后通过某种方法更改每列的类型?理想情况下,希望以动态的方式做到这一点,因为可以有数百个列,明确指定哪些列是哪种类型太麻烦。可以假定每列都包含相同类型的值。

解决方法

可以用的方法简单列举如下:

对于创建DataFrame的情形

如果要创建一个DataFrame,可以直接通过dtype参数指定类型:

df = pd.DataFrame(a, dtype='float') #示例1
df = pd.DataFrame(data=d, dtype=np.int8) #示例2
df = pd.read_csv("somefile.csv", dtype = {'column_name' : str})

对于单列或者Series

下面是一个字符串Seriess的例子,它的dtype为object:

>>> s = pd.Series(['1', '2', '4.7', 'pandas', '10'])
>>> s
0     1
1     2
2    4.7
3  pandas
4    10
dtype: object

使用to_numeric转为数值。默认情况下,它不能处理字母型的字符串'pandas':

>>> pd.to_numeric(s) # or pd.to_numeric(s, errors='raise')
ValueError: Unable to parse string

可以将无效值强制转换为NaN,如下所示:

>>> pd.to_numeric(s, errors='coerce')
0   1.0
1   2.0
2   4.7
3   NaN
4  10.0
dtype: float64

如果遇到无效值,第三个选项就是忽略该操作:

>>> pd.to_numeric(s, errors='ignore')
# the original Series is returned untouched

对于多列或者整个DataFrame
如果想要将这个操作应用到多个列,依次处理每一列是非常繁琐的,所以可以使用DataFrame.apply处理每一列。

对于某个DataFrame:

>>> a = [['a', '1.2', '4.2'], ['b', '70', '0.03'], ['x', '5', '0']]
>>> df = pd.DataFrame(a, columns=['col1','col2','col3'])
>>> df
 col1 col2 col3
0  a 1.2  4.2
1  b  70 0.03
2  x  5   0

然后可以写:

df[['col2','col3']] = df[['col2','col3']].apply(pd.to_numeric)

那么'col2'和'col3'根据需要具有float64类型。

但是,可能不知道哪些列可以可靠地转换为数字类型。在这种情况下,设置参数:

df.apply(pd.to_numeric, errors='ignore')

然后该函数将被应用于整个DataFrame,可以转换为数字类型的列将被转换,而不能(例如,它们包含非数字字符串或日期)的列将被单独保留。

另外pd.to_datetime和pd.to_timedelta可将数据转换为日期和时间戳。

软转换——类型自动推断

版本0.21.0引入了infer_objects()方法,用于将具有对象数据类型的DataFrame的列转换为更具体的类型。

例如,用两列对象类型创建一个DataFrame,其中一个保存整数,另一个保存整数的字符串:

>>> df = pd.DataFrame({'a': [7, 1, 5], 'b': ['3','2','1']}, dtype='object')
>>> df.dtypes
a  object
b  object
dtype: object

然后使用infer_objects(),可以将列'a'的类型更改为int64:

>>> df = df.infer_objects()
>>> df.dtypes
a   int64
b  object
dtype: object

由于'b'的值是字符串,而不是整数,因此'b'一直保留。

astype强制转换

如果试图强制将两列转换为整数类型,可以使用df.astype(int)。

示例如下:

a = [['a', '1.2', '4.2'], ['b', '70', '0.03'], ['x', '5', '0']]
df = pd.DataFrame(a, columns=['one', 'two', 'three'])
df
Out[16]: 
 one two three
0  a 1.2  4.2
1  b  70 0.03
2  x  5   0
df.dtypes
Out[17]: 
one   object
two   object
three  object
df[['two', 'three']] = df[['two', 'three']].astype(float)
df.dtypes
Out[19]: 
one    object
two   float64
three  float64

总结

以上所述是小编给大家介绍的pandas读取CSV文件时查看修改各列的数据类型格式,希望对大家有所帮助,如果有任何疑问欢迎给我留言,小编会及时回复大家的!

Python 相关文章推荐
Python中if __name__ == '__main__'作用解析
Jun 29 Python
你真的了解Python的random模块吗?
Dec 12 Python
python3+PyQt5使用数据库窗口视图
Apr 24 Python
解决python中 f.write写入中文出错的问题
Oct 31 Python
快速排序的四种python实现(推荐)
Apr 03 Python
Python networkx包的实现
Feb 14 Python
python os模块在系统管理中的应用
Jun 22 Python
python怎么调用自己的函数
Jul 01 Python
paramiko使用tail实时获取服务器的日志输出详解
Dec 06 Python
tensorflow中的数据类型dtype用法说明
May 26 Python
Pygame如何使用精灵和碰撞检测
Nov 17 Python
python自动获取微信公众号最新文章的实现代码
Jul 15 Python
Python实现FTP文件传输的实例
Jul 07 #Python
Python爬虫动态ip代理防止被封的方法
Jul 07 #Python
Python异常处理例题整理
Jul 07 #Python
解决pycharm下os.system执行命令返回有中文乱码的问题
Jul 07 #Python
在python中实现调用可执行文件.exe的3种方法
Jul 07 #Python
Python求两点之间的直线距离(2种实现方法)
Jul 07 #Python
对Python中画图时候的线类型详解
Jul 07 #Python
You might like
PHP新手上路(六)
2006/10/09 PHP
php格式化日期实例分析
2014/11/12 PHP
PHP获取当前日期和时间及格式化方法参数
2015/05/11 PHP
PHP中常用的魔术方法
2017/04/28 PHP
30个让人兴奋的视差滚动(Parallax Scrolling)效果网站
2012/03/04 Javascript
JQuery获取与设置HTML元素的内容或文本的实现代码
2014/06/20 Javascript
Javascript常用字符串判断函数代码分享
2014/12/08 Javascript
window.open()实现post传递参数
2015/03/12 Javascript
微信JSSDK上传图片
2015/08/23 Javascript
Bootstrap教程JS插件弹出框学习笔记分享
2016/05/17 Javascript
JS实现点击网页判断是否安装app并打开否则跳转app store
2016/11/18 Javascript
详解React Native开源时间日期选择器组件(react-native-datetime)
2017/09/13 Javascript
浅谈JsonObject中的key-value数据解析排序问题
2017/12/06 Javascript
js点击时关闭该范围下拉菜单之外的菜单方法
2018/01/11 Javascript
深入浅出理解JavaScript高级定时器原理与用法
2018/08/02 Javascript
layui 设置table 行的高度方法
2018/08/17 Javascript
vue 点击按钮实现动态挂载子组件的方法
2018/09/07 Javascript
通过vue手动封装on、emit、off的代码详解
2019/05/29 Javascript
JS数组方法concat()用法实例分析
2020/01/18 Javascript
python中函数默认值使用注意点详解
2016/06/01 Python
使用rst2pdf实现将sphinx生成PDF
2016/06/07 Python
python数据清洗系列之字符串处理详解
2017/02/12 Python
python读写json文件的简单实现
2017/04/11 Python
Windows 8.1 64bit下搭建 Scrapy 0.22 环境
2018/11/18 Python
用Python生成HTML表格的方法示例
2020/03/06 Python
python tqdm库的使用
2020/11/30 Python
python里glob模块知识点总结
2021/01/05 Python
canvas如何绘制钟表的方法
2017/12/13 HTML / CSS
天网面试题
2013/04/07 面试题
迷你西餐厅创业计划书范文
2013/12/31 职场文书
领导检查欢迎词
2014/01/14 职场文书
教师旷工检讨书
2014/01/18 职场文书
《放小鸟》教学反思
2014/04/20 职场文书
查摆问题对照检查材料
2014/08/28 职场文书
师德标兵先进事迹材料
2014/12/19 职场文书
小学运动会入场口号
2015/12/24 职场文书