Python scikit-learn 做线性回归的示例代码


Posted in Python onNovember 01, 2017

一、概述

机器学习算法在近几年大数据点燃的热火熏陶下已经变得被人所“熟知”,就算不懂得其中各算法理论,叫你喊上一两个著名算法的名字,你也能昂首挺胸脱口而出。当然了,算法之林虽大,但能者还是有限,能适应某些环境并取得较好效果的算法会脱颖而出,而表现平平者则被历史所淡忘。随着机器学习社区的发展和实践验证,这群脱颖而出者也逐渐被人所认可和青睐,同时获得了更多社区力量的支持、改进和推广。

以最广泛的分类算法为例,大致可以分为线性和非线性两大派别。线性算法有著名的逻辑回归、朴素贝叶斯、最大熵等,非线性算法有随机森林、决策树、神经网络、核机器等等。线性算法举的大旗是训练和预测的效率比较高,但最终效果对特征的依赖程度较高,需要数据在特征层面上是线性可分的。因此,使用线性算法需要在特征工程上下不少功夫,尽量对特征进行选择、变换或者组合等使得特征具有区分性。而非线性算法则牛逼点,可以建模复杂的分类面,从而能更好的拟合数据。

那在我们选择了特征的基础上,哪个机器学习算法能取得更好的效果呢?谁也不知道。实践是检验哪个好的不二标准。那难道要苦逼到写五六个机器学习的代码吗?No,机器学习社区的力量是强大的,码农界的共识是不重复造轮子!因此,对某些较为成熟的算法,总有某些优秀的库可以直接使用,省去了大伙调研的大部分时间。

基于目前使用python较多,而python界中远近闻名的机器学习库要数scikit-learn莫属了。这个库优点很多。简单易用,接口抽象得非常好,而且文档支持实在感人。本文中,我们可以封装其中的很多机器学习算法,然后进行一次性测试,从而便于分析取优。当然了,针对具体算法,超参调优也非常重要。

二、Scikit-learn的python实践

本篇文章利用线性回归算法预测波士顿的房价。波士顿房价数据集包含波士顿郊区住房价值的信息。

第一步:Python库导入

%matplotlib inline
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import sklearn

第二步:数据获取和理解

波士顿数据集是scikit-learn的内置数据集,可以直接拿来使用。

from sklearn.datasets import load_boston
boston = load_boston()
print(boston.keys())

dict_keys([‘data', ‘target', ‘feature_names', ‘DESCR'])

print(boston.data.shape)

(506, 13)

print(boston.feature_names)

[‘CRIM' ‘ZN' ‘INDUS' ‘CHAS' ‘NOX' ‘RM' ‘AGE' ‘DIS' ‘RAD' ‘TAX' ‘PTRATIO''B' ‘LSTAT']

结论:波士顿数据集506个样本,14个特征。

print(boston.DESCR)
bos = pd.DataFrame(boston.data)
print(bos.head())
0   1   2  3   4   5   6    7  8   9   10 \
0 0.00632 18.0 2.31 0.0 0.538 6.575 65.2 4.0900 1.0 296.0 15.3  
1 0.02731  0.0 7.07 0.0 0.469 6.421 78.9 4.9671 2.0 242.0 17.8  
2 0.02729  0.0 7.07 0.0 0.469 7.185 61.1 4.9671 2.0 242.0 17.8  
3 0.03237  0.0 2.18 0.0 0.458 6.998 45.8 6.0622 3.0 222.0 18.7  
4 0.06905  0.0 2.18 0.0 0.458 7.147 54.2 6.0622 3.0 222.0 18.7  
    11  12 
0 396.90 4.98 
1 396.90 9.14 
2 392.83 4.03 
3 394.63 2.94 
4 396.90 5.33
bos.columns = boston.feature_names
print(bos.head())
print(boston.target[:5])
bos['PRICE'] = boston.target
bos.head()

第三步:数据模型构建——线性回归

from sklearn.linear_model import LinearRegression
X = bos.drop('PRICE', axis=1)
lm = LinearRegression()
lm
lm.fit(X, bos.PRICE)
print('线性回归算法w值:', lm.coef_)
print('线性回归算法b值: ', lm.intercept_)
import matplotlib.font_manager as fm
myfont = fm.FontProperties(fname='C:/Windows/Fonts/msyh.ttc')
plt.scatter(bos.RM, bos.PRICE)
plt.xlabel(u'住宅平均房间数', fontproperties=myfont)
plt.ylabel(u'房屋价格', fontproperties=myfont)
plt.title(u'RM与PRICE的关系', fontproperties=myfont)
plt.show()

Python scikit-learn 做线性回归的示例代码

第四步:数据模型应用——预测房价

lm.predict(X)[0:5]

array([ 30.00821269, 25.0298606 , 30.5702317 , 28.60814055, 27.94288232])

mse = np.mean((bos.PRICE - lm.predict(X)) ** 2)
print(mse)

21.897779217687486

总结

1 使用.DESCR探索波士顿数据集,业务目标是预测波士顿郊区住房的房价;

2 使用scikit-learn针对整个数据集拟合线性回归模型,并计算均方误差。

思考环节

1 对数据集分割成训练数据集和测试数据集

2 训练数据集训练线性回归模型,利用线性回归模型对测试数据集进行预测

3 计算训练模型的MSE和测试数据集预测结果的MSE

4 绘制测试数据集的残差图

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python使用plotly绘制数据图表的方法
Jul 18 Python
python中abs&map&reduce简介
Feb 20 Python
TensorFlow 合并/连接数组的方法
Jul 27 Python
Django REST framework视图的用法
Jan 16 Python
Python将列表数据写入文件(txt, csv,excel)
Apr 03 Python
python openpyxl使用方法详解
Jul 18 Python
Python3.7 读取 mp3 音频文件生成波形图效果
Nov 05 Python
python实现简单日志记录库glog的使用
Dec 13 Python
python 实现屏幕录制示例
Dec 23 Python
PyCharm GUI界面开发和exe文件生成的实现
Mar 04 Python
利用Python实现某OA系统的自动定位功能
May 27 Python
Python列表推导式实现代码实例
Sep 09 Python
机器学习python实战之手写数字识别
Nov 01 #Python
Python定时器实例代码
Nov 01 #Python
机器学习python实战之决策树
Nov 01 #Python
详解Python开发中如何使用Hook技巧
Nov 01 #Python
python利用标准库如何获取本地IP示例详解
Nov 01 #Python
你眼中的Python大牛 应该都有这份书单
Oct 31 #Python
Python生成数字图片代码分享
Oct 31 #Python
You might like
PHP实现的简单缓存类
2015/07/29 PHP
php版微信自动获取收货地址api用法示例
2016/09/22 PHP
PHP PDOStatement::bindValue讲解
2019/01/30 PHP
PHP单元测试配置与使用方法详解
2019/12/27 PHP
使用闭包对setTimeout进行简单封装避免出错
2013/07/10 Javascript
JS 毫秒转时间示例代码
2013/09/22 Javascript
js动态创建标签示例代码
2014/06/09 Javascript
Jquery的基本对象转换和文档加载用法实例
2015/02/25 Javascript
jquery获得当前html页面源码的方法
2015/07/14 Javascript
js实现文本框输入文字个数限制代码
2015/12/25 Javascript
JavaScript学习总结之JS、AJAX应用
2016/01/29 Javascript
JS正则表达式验证账号、手机号、电话和邮箱是否合法
2017/03/08 Javascript
微信小程序中post方法与get方法的封装
2017/09/26 Javascript
使用命令行工具npm新创建一个vue项目的方法
2017/12/27 Javascript
JavaScript实现动态添加、移除元素或属性的方法分析
2019/01/03 Javascript
在mpvue框架中使用Vant WeappUI组件库的注意事项【推进】
2019/06/09 Javascript
详解vue-template-admin三级路由无法缓存的解决方案
2020/03/10 Javascript
js Math数学简单使用操作示例
2020/03/13 Javascript
微信小程序开发(一):服务器获取数据列表渲染操作示例
2020/06/01 Javascript
vue-iview动态新增和删除的方法
2020/06/17 Javascript
图文详解WinPE下安装Python
2016/05/17 Python
python3去掉string中的标点符号方法
2019/01/22 Python
python爬虫爬取淘宝商品比价(附淘宝反爬虫机制解决小办法)
2020/12/03 Python
美国领先的奢侈美容零售商:Bluemercury
2017/07/26 全球购物
瑞士灯具购物网站:Lampenwelt.ch
2018/07/08 全球购物
奥林匹亚体育:Olympia Sports
2020/12/30 全球购物
教师队伍管理制度
2014/01/14 职场文书
十八大感想感言
2014/02/10 职场文书
完美主义个人的自我评价
2014/02/17 职场文书
学生党员公开承诺书
2014/05/28 职场文书
ktv好的活动方案
2014/08/17 职场文书
农行心得体会
2014/09/02 职场文书
2015年读书月活动总结
2015/03/26 职场文书
银行大堂经理培训心得体会
2016/01/09 职场文书
SqlServer 垂直分表(减少程序改动)
2021/04/16 SQL Server
解决Python中的modf()函数取小数部分不准确问题
2021/05/28 Python