简单且有用的Python数据分析和机器学习代码


Posted in Python onJuly 02, 2021

为什么选择Python进行数据分析?

Python是一门动态的、面向对象的脚本语言,同时也是一门简约,通俗易懂的编程语言。Python入门简单,代码可读性强,一段好的Python代码,阅读起来像是在读一篇外语文章。Python这种特性称为“伪代码”,它可以使你只关心完成什么样的工作任务,而不是纠结于Python的语法。

另外,Python是开源的,它拥有非常多优秀的库,可以用于数据分析及其他领域。更重要的是,Python与最受欢迎的开源大数据平台Hadoop具有很好的兼容性。因此,学习Python对于有志于向大数据分析岗位发展的数据分析师来说,是一件非常节省学习成本的事。

Python的众多优点让它成为最受欢迎的程序设计语言之一,国内外许多公司也已经在使用Python,例YouTube,Google,阿里云等等。

简单且有用的Python数据分析和机器学习代码

经过这个月的python数据分析和机器学习,总结了一些经验,同时也收获了一些大佬的优秀博客,感兴趣的可以观看我的收藏夹,废话不多说,直接进入正题。

数据分析大致分为数据处理,模型建立,模型测试这3部,这篇文章主要是讲解对数据进行处理

为了对数据进行分析,首先要了解学习python的熊猫库pandas,下面是一些基础简单的操作方法,python调用方法如下

import pandas as pd

python通过pandas读取csv文件的方法

df= pd.read_csv("xxx.csv")
#输出文件内容前五列
print(df.head())
#输出csv所有内容
print(df)

查看csv某列数据的方法

pandas.read_csv(‘file_name.csv', usecols = [0,1,2,3]) 
#简单方法
df["属性列名称"]

pandas删除csv数据某些列的方法

droplabels= ['x_cat4','x_cat5','x_cat8','x_cat9']
data=df.drop(droplabels,axis=1)

pandas对NAN数据清洗的方法

#将表格中含有nan数值的列进行删除,返回非空数据和索引值的Series
df.dropna()
'''
dropna(axis=0,how='any',thresh=None),how参数可选的值为any或者all.all仅在切片元素全为NA时才抛弃该行(列)。thresh为整数类型,eg:thresh=3,那么一行当中至少有三个NA值时才将其保留。
'''
data.fillna(0)                      #将nan替换为0
print(data.fillna(data.mean()))     ### 用每列特征的均值填充缺失数据
print(data.fillna(data.median()))    ### 用每列特征的中位数填充缺失数据
print(data.fillna(method='bfill'))   ### 用相邻后面(back)特征填充前面空值
print(data.fillna(method='pad'))     ### 用相邻前面特征填充后面空值
#参考博客:https://blog.csdn.net/qq_21840201/article/details/81008566

pandas对csv文件数据的更改的方法

#更改某列属性数值和类型
df = df[df['涨跌幅']!='None']
df['涨跌幅'] = df['涨跌幅'].astype(np.float64)
df = pd.DataFrame(a, dtype='float') #数据类型转化
#参考链接:http://www.45fan.com/article.php?aid=19070771581800099094144284
#对数据全部遍历读取并更改,参考如下
for i in df.index:
    df["id1"][i]=1

pandas的iloc的使用方法和作用

X = df.iloc[:, data.columns != 'label']  # 取出不包括 label其他的列

df.iloc[:3, :2]           #使用.iloc ,我们只选择了.iloc的前3行和2列

计算某列元素数量的方法

sum= len(data[data.label == 'BENIGN']) #计算BENIGN的数量
len(df)

pandas对文件进行保存的方法

#df为要保存的数据,xxx.csv为保存的文件
df.to_csv('xxx.csv', index=False, sep=',')

以上是pandas对数据进行处理的简单功能,其中含有一些参考学习的博客,感兴趣的同学可以观看学习。有了这些基础知识,我们才能对数据集进行处理,接下来就是如何使用的问题了,下面讲解简单的套路。

1.首先观察数据,通过代码检测每一列的数据类型再进行考察,检测是否存在NAN值,可以删除该列,也可根据情况进行数值的变动。

2.数据集中可能存在部分列属性为time属性,一般不要直接将该列删除,可通过将其转化为浮点类型

3.字符串类型向数值类型的转换,部分字符串需要进行转换,这个就视情况而定了。

总结

到此这篇关于Python数据分析和机器学习代码的文章就介绍到这了,更多相关Python数据分析代码内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
浅述python2与python3的简单区别
Sep 19 Python
pytorch索引查找 index_select的例子
Aug 18 Python
Python操作Mongodb数据库的方法小结
Sep 10 Python
Python 静态方法和类方法实例分析
Nov 21 Python
python logging.basicConfig不生效的原因及解决
Feb 20 Python
PyQt5实现仿QQ贴边隐藏功能的实例代码
May 24 Python
Django Form设置文本框为readonly操作
Jul 03 Python
python 如何使用find和find_all爬虫、找文本的实现
Oct 16 Python
python中编写函数并调用的知识点总结
Jan 13 Python
有趣的二维码:使用MyQR和qrcode来制作二维码
May 10 Python
python状态机transitions库详解
Jun 02 Python
Python PIL按比例裁剪图片
May 11 Python
python常见的占位符总结及用法
Jul 02 #Python
Python合并pdf文件的工具
python实现剪贴板的操作
利用Pycharm连接服务器的全过程记录
关于Python OS模块常用文件/目录函数详解
Python+Appium自动化测试的实战
如何使用pdb进行Python调试
You might like
用PHP 快速生成 Flash 动画的方法
2007/03/06 PHP
PHP数组和explode函数示例总结
2015/05/08 PHP
PHP简单读取PDF页数的实现方法
2016/07/21 PHP
php+ajax实现无刷新文件上传功能(ajaxuploadfile)
2018/02/11 PHP
为jQuery.Treeview添加右键菜单的实现代码
2010/10/22 Javascript
原生JavaScript制作微博发布面板效果
2016/03/11 Javascript
AngularJS控制器继承自另一控制器
2016/05/09 Javascript
jstree创建无限分级树的方法【基于ajax动态创建子节点】
2016/10/25 Javascript
js实现自定义进度条效果
2017/03/15 Javascript
基于zepto.js实现手机相册功能
2017/07/11 Javascript
element-ui 上传图片后清空图片显示的实例
2018/09/04 Javascript
微信小程序中使用echarts的实现方法
2019/04/24 Javascript
vue实现手机号码的校验实例代码(防抖函数的应用场景)
2019/09/05 Javascript
vue iview实现动态新增和删除
2020/06/17 Javascript
python Django连接MySQL数据库做增删改查
2013/11/07 Python
python实现文件分组复制到不同目录的例子
2014/06/04 Python
python使用post提交数据到远程url的方法
2015/04/29 Python
python enumerate函数的使用方法总结
2017/11/15 Python
修复CentOS7升级Python到3.6版本后yum不能正确使用的解决方法
2018/01/26 Python
对python中数组的del,remove,pop区别详解
2018/11/07 Python
Python使用__new__()方法为对象分配内存及返回对象的引用示例
2019/09/20 Python
django序列化serializers过程解析
2019/12/14 Python
TFRecord格式存储数据与队列读取实例
2020/01/21 Python
Pycharm 安装 idea VIM插件的图文教程详解
2020/02/21 Python
Python解释器及PyCharm工具安装过程
2020/02/26 Python
python GUI库图形界面开发之PyQt5布局控件QHBoxLayout详细使用方法与实例
2020/03/06 Python
美国汽车性能部件和赛车零件网站:Vivid Racing
2018/03/27 全球购物
乌克兰电子和家用电器商店:Foxtrot
2019/07/23 全球购物
大二学期个人自我评价
2014/01/13 职场文书
《孔繁森》教学反思
2014/04/17 职场文书
教师节学生演讲稿
2014/09/03 职场文书
超市食品安全承诺书
2015/04/29 职场文书
绿里奇迹观后感
2015/06/15 职场文书
大学军训心得体会800字
2016/01/11 职场文书
一篇带你入门Java垃圾回收器
2021/06/16 Java/Android
Python 第三方库 openpyxl 的安装过程
2022/12/24 Python