10招!看骨灰级Pythoner玩转Python的方法


Posted in Python onApril 15, 2019

pandas是基于numpy构建的,使数据分析工作变得更快更简单的高级数据结构和操作工具。本文为大家带来10个玩转Python的小技巧,学会了分分钟通关变大神!

10招!看骨灰级Pythoner玩转Python的方法

1. read_csv

每个人都知道这个命令。但如果你要读取很大的数据,尝试添加这个参数:nrows = 5,以便在实际加载整个表之前仅读取表的一小部分。然后你可以通过选择错误的分隔符来避免错误(它不一定总是以逗号分隔)。

(或者,你可以在linux中使用'head'命令来检查任何文本文件中的前5行,例如:head -c 5 data.txt)

然后,你可以使用df.columns.tolist()来提取列表中的所有列,然后添加usecols = ['c1','c2',...]参数以加载所需的列。此外,如果你知道几个特定列的数据类型,则可以添加参数dtype = {'c1':str,'c2':int,...},以便数据加载得更快。此参数还有另一个优点,如果你有一个同时包含字符串和数字的列,那么将其类型声明为字符串是一个好选择,这样就可以在尝试使用此列作为键去合并表时不会出错。

2. select_dtypes

如果必须在Python中进行数据预处理,那么这个命令可以节约一些时间。读取表后,每列的默认数据类型可以是bool,int64,float64,object,category,timedelta64或datetime64。你可以先查看

df.dtypes.value_counts()

命令分发的结果以了解数据帧的所有可能数据类型,然后执行

df.select_dtypes(include = ['float64','int64'])

选择仅具有数字特征的子数据帧。

3. Copy

这是一个重要的命令。如果执行以下命令:

import pandas as pd 
df1 = pd.DataFrame({ ‘a':[0,0,0], ‘b': [1,1,1]}) 
df2 = df1 
df2[‘a'] = df2[‘a'] + 1 
df1.head()

你会发现df1已经改变了。这是因为df2 = df1没有复制df1的值并将其分配给df2,而是设置指向df1的指针。因此,df2的任何变化都会导致df1发生变化 要解决这个问题,你可以:

df2  
= df1.copy() 
br

或者

from copy import deepcopy 
df2 = deepcopy(df1)

4. Map

这是一个可以进行简单数据转换的命令。首先定义一个字典,其中'keys'是旧值,'values'是新值。

level_map = {1: ‘high', 2: ‘medium', 3: ‘low'} 
df[‘c_level'] = df[‘c'].map(level_map)

举几个例子:True,False为1,0(用于建模); 定义水平; 用户定义的词法编码。

5. apply or not apply?

如果我们想创建一个新的列,并将其他列作为输入,那么apply函数有时非常有用。

def rule(x, y): 
  if x == ‘high' and y > 10: 
     return 1 
  else: 
     return 0 
df = pd.DataFrame({ 'c1':[ 'high' ,'high', 'low', 'low'], 'c2': [0, 23, 17, 4]}) 
df['new'] = df.apply(lambda x: rule(x['c1'], x['c2']), axis = 1) 
df.head()

在上面的代码中,我们定义了一个带有两个输入变量的函数,并使用apply函数将其应用于列'c1'和'c2'。

但“apply函数”的问题是它有时太慢了。 如果你想计算两列“c1”和“c2”的最大值,你可以:

df[‘maximum'] = df.apply(lambda x: max(x[‘c1'], x[‘c2']), axis = 1)

但你会发现它比这个命令慢得多:

df[‘maximum'] = df[[‘c1','c2']].max(axis =1)

注意:如果可以使用其他内置函数完成相同的工作(它们通常更快),请不要使用apply。例如,如果要将列'c'舍入为整数,请执行round(df ['c'],0)而非使用apply函数:

df.apply(lambda x: round(x['c'], 0), axis = 1)

6. value counts

这是一个检查值分布的命令。例如,如果你想检查“c”列中每个值的可能值和频率,可以执行以下操作

df[‘c'].value_counts()

它有一些有用的技巧/参数:

A. normalize = True:如果你要检查频率而不是计数。

B. dropna = False:如果你要统计数据中包含的缺失值。

C. df['c'].value_counts().reset_index():  如果你想将stats表转换成pandas数据帧并进行操作。

D. df['c'].value_counts().reset_index().sort_values(by='index') : 显示按值而不是按计数排序的统计数据。

7. 缺失值的数量

构建模型时,你可能希望排除具有很多缺失值或全是缺失值的行。你可以使用.isnull()和.sum()来计算指定列中缺失值的数量。

import pandas as pd 
import numpy as np 
df = pd.DataFrame({ ‘id': [1,2,3], ‘c1':[0,0,np.nan], ‘c2': [np.nan,1,1]}) 
dfdf = df[[‘id', ‘c1', ‘c2']] 
df[‘num_nulls'] = df[[‘c1', ‘c2']].isnull().sum(axis=1) 
df.head()

8. 选择具有特定ID的行

在SQL中,我们可以使用SELECT * FROM ... WHERE ID('A001','C022',...)来获取具有特定ID的记录。如果想用Pandas做同样的事情,你可以

dfdf_filter = df[‘ID'].isin([‘A001',‘C022',...]) 
df[df_filter]

9. Percentile groups

你有一个数字列,并希望将该列中的值分类为组,例如将列的前5%,分为组1,前5-20%分为组2,前20%-50%分为组3,最后50%分为组4。当然,你可以用pandas.cut来做,但这里提供另一个选择:

import numpy as np 
cut_points = [np.percentile(df[‘c'], i) for i in [50, 80, 95]] 
df[‘group'] = 1 
for i in range(3): 
  df[‘group'] = df[‘group'] + (df[‘c'] < cut_points[i]) 
# or <= cut_points[i]

这个指令使计算机运行的非常快(没有使用应用功能)。

10. to_csv

这也是每个人都会使用的命令。这里指出两个技巧。 第一个是

print(df[:5].to_csv())

你可以使用此命令准确地打印出写入文件的前五行数据。

另一个技巧是处理混合在一起的整数和缺失值。如果列同时包含缺失值和整数,则数据类型仍将是float而不是int。导出表时,可以添加float_format ='%。0f'将所有浮点数舍入为整数。如果只想要所有列的整数输出,请使用此技巧,你将摆脱所有令人苦恼的'.0'。

总结

以上所述是小编给大家介绍的10招!看骨灰级Pythoner玩转Python的方法 ,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
python中__call__内置函数用法实例
Jun 04 Python
详解Python的Django框架中Manager方法的使用
Jul 21 Python
Python结巴中文分词工具使用过程中遇到的问题及解决方法
Apr 15 Python
python中正则表达式的使用方法
Feb 25 Python
python 定义n个变量方法 (变量声明自动化)
Nov 10 Python
python celery分布式任务队列的使用详解
Jul 08 Python
pygame实现贪吃蛇游戏(上)
Oct 29 Python
Django使用消息提示简单的弹出个对话框实例
Nov 15 Python
Python3 实现爬取网站下所有URL方式
Jan 16 Python
使用keras和tensorflow保存为可部署的pb格式
May 25 Python
python安装读取grib库总结(推荐)
Jun 24 Python
Python基于traceback模块获取异常信息
Jul 23 Python
Python后台开发Django会话控制的实现
Apr 15 #Python
浅析Python 实现一个自动化翻译和替换的工具
Apr 14 #Python
提升Python程序性能的7个习惯
Apr 14 #Python
Python根据当前日期取去年同星期日期
Apr 14 #Python
Python实现的微信支付方式总结【三种方式】
Apr 13 #Python
Python实现合并excel表格的方法分析
Apr 13 #Python
Python Image模块基本图像处理操作小结
Apr 13 #Python
You might like
PHP+MYSQL的文章管理系统(一)
2006/10/09 PHP
PHP简单系统查询模块代码打包下载
2008/06/07 PHP
PHP 强制性文件下载功能的函数代码(任意文件格式)
2010/05/26 PHP
Centos下升级php5.2到php5.4全记录(编译安装)
2015/04/03 PHP
php微信开发之关键词回复功能
2018/06/13 PHP
JavaScript下申明对象的几种方法小结
2008/10/02 Javascript
JS模拟自动点击的简单实例
2013/08/08 Javascript
js加入收藏以及使用Jquery更改透明度
2014/01/26 Javascript
JQuery实现表格动态增加行并对新行添加事件
2014/07/30 Javascript
angular简介和其特点介绍
2015/01/29 Javascript
js实现点击获取验证码倒计时效果
2021/01/28 Javascript
微信jssdk在iframe页面失效问题的解决措施
2016/03/03 Javascript
原生js实现新闻列表展开/收起全文功能
2017/01/20 Javascript
利用ES6的Promise.all实现至少请求多长时间的实例
2017/08/28 Javascript
Vue-Router实现组件间跳转的三种方法
2017/11/07 Javascript
在Vue项目中使用d3.js的实例代码
2018/05/01 Javascript
JS实现的冒泡排序,快速排序,插入排序算法示例
2019/03/02 Javascript
微信小程序商品详情页底部弹出框
2019/11/22 Javascript
Python Socket传输文件示例
2017/01/16 Python
Python continue继续循环用法总结
2018/06/10 Python
Python 调用PIL库失败的解决方法
2019/01/08 Python
python防止随意修改类属性的实现方法
2019/08/21 Python
关于Tensorflow分布式并行策略
2020/02/03 Python
Python如何给你的程序做性能测试
2020/07/29 Python
纯CSS3实现3D旋转书本效果
2016/03/21 HTML / CSS
小程序canvas中文字设置居中锚点
2019/04/16 HTML / CSS
英国豪华针织品牌John Smedley的在线销售商:The Outlet by John Smedley
2018/04/08 全球购物
美国折衷生活方式品牌:Robert Graham
2018/07/13 全球购物
应届生会计电算化求职信
2013/10/03 职场文书
美术国培研修感言
2014/02/12 职场文书
暑期社会实践心得体会
2014/09/02 职场文书
教师学习八项规定六项禁令思想汇报
2014/09/27 职场文书
项目技术负责人岗位职责
2015/04/13 职场文书
同事欢送会致辞
2015/07/31 职场文书
opencv读取视频并保存图像的方法
2021/06/04 Python
JavaWeb Servlet实现网页登录功能
2021/07/04 Java/Android