Python scikit-learn 做线性回归的示例代码


Posted in Python onNovember 01, 2017

一、概述

机器学习算法在近几年大数据点燃的热火熏陶下已经变得被人所“熟知”,就算不懂得其中各算法理论,叫你喊上一两个著名算法的名字,你也能昂首挺胸脱口而出。当然了,算法之林虽大,但能者还是有限,能适应某些环境并取得较好效果的算法会脱颖而出,而表现平平者则被历史所淡忘。随着机器学习社区的发展和实践验证,这群脱颖而出者也逐渐被人所认可和青睐,同时获得了更多社区力量的支持、改进和推广。

以最广泛的分类算法为例,大致可以分为线性和非线性两大派别。线性算法有著名的逻辑回归、朴素贝叶斯、最大熵等,非线性算法有随机森林、决策树、神经网络、核机器等等。线性算法举的大旗是训练和预测的效率比较高,但最终效果对特征的依赖程度较高,需要数据在特征层面上是线性可分的。因此,使用线性算法需要在特征工程上下不少功夫,尽量对特征进行选择、变换或者组合等使得特征具有区分性。而非线性算法则牛逼点,可以建模复杂的分类面,从而能更好的拟合数据。

那在我们选择了特征的基础上,哪个机器学习算法能取得更好的效果呢?谁也不知道。实践是检验哪个好的不二标准。那难道要苦逼到写五六个机器学习的代码吗?No,机器学习社区的力量是强大的,码农界的共识是不重复造轮子!因此,对某些较为成熟的算法,总有某些优秀的库可以直接使用,省去了大伙调研的大部分时间。

基于目前使用python较多,而python界中远近闻名的机器学习库要数scikit-learn莫属了。这个库优点很多。简单易用,接口抽象得非常好,而且文档支持实在感人。本文中,我们可以封装其中的很多机器学习算法,然后进行一次性测试,从而便于分析取优。当然了,针对具体算法,超参调优也非常重要。

二、Scikit-learn的python实践

本篇文章利用线性回归算法预测波士顿的房价。波士顿房价数据集包含波士顿郊区住房价值的信息。

第一步:Python库导入

%matplotlib inline
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import sklearn

第二步:数据获取和理解

波士顿数据集是scikit-learn的内置数据集,可以直接拿来使用。

from sklearn.datasets import load_boston
boston = load_boston()
print(boston.keys())

dict_keys([‘data', ‘target', ‘feature_names', ‘DESCR'])

print(boston.data.shape)

(506, 13)

print(boston.feature_names)

[‘CRIM' ‘ZN' ‘INDUS' ‘CHAS' ‘NOX' ‘RM' ‘AGE' ‘DIS' ‘RAD' ‘TAX' ‘PTRATIO''B' ‘LSTAT']

结论:波士顿数据集506个样本,14个特征。

print(boston.DESCR)
bos = pd.DataFrame(boston.data)
print(bos.head())
0   1   2  3   4   5   6    7  8   9   10 \
0 0.00632 18.0 2.31 0.0 0.538 6.575 65.2 4.0900 1.0 296.0 15.3  
1 0.02731  0.0 7.07 0.0 0.469 6.421 78.9 4.9671 2.0 242.0 17.8  
2 0.02729  0.0 7.07 0.0 0.469 7.185 61.1 4.9671 2.0 242.0 17.8  
3 0.03237  0.0 2.18 0.0 0.458 6.998 45.8 6.0622 3.0 222.0 18.7  
4 0.06905  0.0 2.18 0.0 0.458 7.147 54.2 6.0622 3.0 222.0 18.7  
    11  12 
0 396.90 4.98 
1 396.90 9.14 
2 392.83 4.03 
3 394.63 2.94 
4 396.90 5.33
bos.columns = boston.feature_names
print(bos.head())
print(boston.target[:5])
bos['PRICE'] = boston.target
bos.head()

第三步:数据模型构建——线性回归

from sklearn.linear_model import LinearRegression
X = bos.drop('PRICE', axis=1)
lm = LinearRegression()
lm
lm.fit(X, bos.PRICE)
print('线性回归算法w值:', lm.coef_)
print('线性回归算法b值: ', lm.intercept_)
import matplotlib.font_manager as fm
myfont = fm.FontProperties(fname='C:/Windows/Fonts/msyh.ttc')
plt.scatter(bos.RM, bos.PRICE)
plt.xlabel(u'住宅平均房间数', fontproperties=myfont)
plt.ylabel(u'房屋价格', fontproperties=myfont)
plt.title(u'RM与PRICE的关系', fontproperties=myfont)
plt.show()

Python scikit-learn 做线性回归的示例代码

第四步:数据模型应用——预测房价

lm.predict(X)[0:5]

array([ 30.00821269, 25.0298606 , 30.5702317 , 28.60814055, 27.94288232])

mse = np.mean((bos.PRICE - lm.predict(X)) ** 2)
print(mse)

21.897779217687486

总结

1 使用.DESCR探索波士顿数据集,业务目标是预测波士顿郊区住房的房价;

2 使用scikit-learn针对整个数据集拟合线性回归模型,并计算均方误差。

思考环节

1 对数据集分割成训练数据集和测试数据集

2 训练数据集训练线性回归模型,利用线性回归模型对测试数据集进行预测

3 计算训练模型的MSE和测试数据集预测结果的MSE

4 绘制测试数据集的残差图

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python实现目录树生成示例
Mar 28 Python
跟老齐学Python之模块的加载
Oct 24 Python
对Python 网络设备巡检脚本的实例讲解
Apr 22 Python
浅谈Python里面小数点精度的控制
Jul 16 Python
详解Ubuntu16.04安装Python3.7及其pip3并切换为默认版本
Feb 25 Python
Python合并同一个文件夹下所有PDF文件的方法
Mar 11 Python
Pandas读写CSV文件的方法示例
Mar 27 Python
Python 实现微信防撤回功能
Apr 29 Python
基于Python安装pyecharts所遇的问题及解决方法
Aug 12 Python
Python生成并下载文件后端代码实例
Aug 31 Python
python在CMD界面读取excel所有数据的示例
Sep 28 Python
pandas中对文本类型数据的处理小结
Nov 01 Python
机器学习python实战之手写数字识别
Nov 01 #Python
Python定时器实例代码
Nov 01 #Python
机器学习python实战之决策树
Nov 01 #Python
详解Python开发中如何使用Hook技巧
Nov 01 #Python
python利用标准库如何获取本地IP示例详解
Nov 01 #Python
你眼中的Python大牛 应该都有这份书单
Oct 31 #Python
Python生成数字图片代码分享
Oct 31 #Python
You might like
php设计模式 Delegation(委托模式)
2011/06/26 PHP
PHP中“简单工厂模式”实例代码讲解
2012/09/04 PHP
基于ubuntu下nginx+php+mysql安装配置的具体操作步骤
2013/04/28 PHP
jQuery Dialog 弹出层对话框插件
2010/08/09 Javascript
jQuery autocomplate 自扩展插件、自动完成示例代码
2011/03/28 Javascript
用js获取电脑信息(是使用与IE浏览器)
2013/01/15 Javascript
JavaScript遍历table表格中的某行某列并打印其值
2014/07/08 Javascript
jQuery html()方法使用不了无法显示内容的问题
2014/08/06 Javascript
JS获取当前网页大小以及屏幕分辨率等
2014/09/05 Javascript
WebSocket+node.js创建即时通信的Web聊天服务器
2016/08/08 Javascript
微信小程序开发实战教程之手势解锁
2016/11/18 Javascript
JavaScript 栈的详解及实例代码
2017/01/22 Javascript
jQuery zTree树插件动态加载实例代码
2017/05/11 jQuery
深入理解 ES6中的 Reflect用法
2020/07/18 Javascript
解决Vue中的生命周期beforeDestory不触发的问题
2020/07/21 Javascript
vue 计算属性和侦听器的使用小结
2021/01/25 Vue.js
[01:01:43]EG vs VP 2018国际邀请赛淘汰赛BO3 第二场 8.24
2018/08/25 DOTA
[51:53]DOTA2-DPC中国联赛 正赛 RNG vs Dragon BO3 第二场 1月24日
2021/03/11 DOTA
python验证码识别实例代码
2018/02/03 Python
Python 实现子类获取父类的类成员方法
2019/01/11 Python
python如何以表格形式打印输出的方法示例
2019/06/21 Python
Python实现二叉搜索树BST的方法示例
2019/07/30 Python
tensorflow 获取所有variable或tensor的name示例
2020/01/04 Python
Python表达式的优先级详解
2020/02/18 Python
python GUI库图形界面开发之PyQt5不规则窗口实现与显示GIF动画的详细方法与实例
2020/03/09 Python
Python如何进行时间处理
2020/08/06 Python
Python requests上传文件实现步骤
2020/09/15 Python
Python django框架 web端视频加密的实例详解
2020/11/20 Python
几个常见的消息中间件(MOM)
2014/01/08 面试题
结婚周年感言
2014/02/24 职场文书
协会周年庆活动方案
2014/08/26 职场文书
优秀教师先进个人事迹材料
2014/08/31 职场文书
领导干部群众路线剖析材料
2014/10/09 职场文书
谢师宴邀请函
2015/02/02 职场文书
周一早安温馨问候祝福语!
2019/07/15 职场文书
redis限流的实际应用
2021/04/24 Redis