Python scikit-learn 做线性回归的示例代码


Posted in Python onNovember 01, 2017

一、概述

机器学习算法在近几年大数据点燃的热火熏陶下已经变得被人所“熟知”,就算不懂得其中各算法理论,叫你喊上一两个著名算法的名字,你也能昂首挺胸脱口而出。当然了,算法之林虽大,但能者还是有限,能适应某些环境并取得较好效果的算法会脱颖而出,而表现平平者则被历史所淡忘。随着机器学习社区的发展和实践验证,这群脱颖而出者也逐渐被人所认可和青睐,同时获得了更多社区力量的支持、改进和推广。

以最广泛的分类算法为例,大致可以分为线性和非线性两大派别。线性算法有著名的逻辑回归、朴素贝叶斯、最大熵等,非线性算法有随机森林、决策树、神经网络、核机器等等。线性算法举的大旗是训练和预测的效率比较高,但最终效果对特征的依赖程度较高,需要数据在特征层面上是线性可分的。因此,使用线性算法需要在特征工程上下不少功夫,尽量对特征进行选择、变换或者组合等使得特征具有区分性。而非线性算法则牛逼点,可以建模复杂的分类面,从而能更好的拟合数据。

那在我们选择了特征的基础上,哪个机器学习算法能取得更好的效果呢?谁也不知道。实践是检验哪个好的不二标准。那难道要苦逼到写五六个机器学习的代码吗?No,机器学习社区的力量是强大的,码农界的共识是不重复造轮子!因此,对某些较为成熟的算法,总有某些优秀的库可以直接使用,省去了大伙调研的大部分时间。

基于目前使用python较多,而python界中远近闻名的机器学习库要数scikit-learn莫属了。这个库优点很多。简单易用,接口抽象得非常好,而且文档支持实在感人。本文中,我们可以封装其中的很多机器学习算法,然后进行一次性测试,从而便于分析取优。当然了,针对具体算法,超参调优也非常重要。

二、Scikit-learn的python实践

本篇文章利用线性回归算法预测波士顿的房价。波士顿房价数据集包含波士顿郊区住房价值的信息。

第一步:Python库导入

%matplotlib inline
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import sklearn

第二步:数据获取和理解

波士顿数据集是scikit-learn的内置数据集,可以直接拿来使用。

from sklearn.datasets import load_boston
boston = load_boston()
print(boston.keys())

dict_keys([‘data', ‘target', ‘feature_names', ‘DESCR'])

print(boston.data.shape)

(506, 13)

print(boston.feature_names)

[‘CRIM' ‘ZN' ‘INDUS' ‘CHAS' ‘NOX' ‘RM' ‘AGE' ‘DIS' ‘RAD' ‘TAX' ‘PTRATIO''B' ‘LSTAT']

结论:波士顿数据集506个样本,14个特征。

print(boston.DESCR)
bos = pd.DataFrame(boston.data)
print(bos.head())
0   1   2  3   4   5   6    7  8   9   10 \
0 0.00632 18.0 2.31 0.0 0.538 6.575 65.2 4.0900 1.0 296.0 15.3  
1 0.02731  0.0 7.07 0.0 0.469 6.421 78.9 4.9671 2.0 242.0 17.8  
2 0.02729  0.0 7.07 0.0 0.469 7.185 61.1 4.9671 2.0 242.0 17.8  
3 0.03237  0.0 2.18 0.0 0.458 6.998 45.8 6.0622 3.0 222.0 18.7  
4 0.06905  0.0 2.18 0.0 0.458 7.147 54.2 6.0622 3.0 222.0 18.7  
    11  12 
0 396.90 4.98 
1 396.90 9.14 
2 392.83 4.03 
3 394.63 2.94 
4 396.90 5.33
bos.columns = boston.feature_names
print(bos.head())
print(boston.target[:5])
bos['PRICE'] = boston.target
bos.head()

第三步:数据模型构建——线性回归

from sklearn.linear_model import LinearRegression
X = bos.drop('PRICE', axis=1)
lm = LinearRegression()
lm
lm.fit(X, bos.PRICE)
print('线性回归算法w值:', lm.coef_)
print('线性回归算法b值: ', lm.intercept_)
import matplotlib.font_manager as fm
myfont = fm.FontProperties(fname='C:/Windows/Fonts/msyh.ttc')
plt.scatter(bos.RM, bos.PRICE)
plt.xlabel(u'住宅平均房间数', fontproperties=myfont)
plt.ylabel(u'房屋价格', fontproperties=myfont)
plt.title(u'RM与PRICE的关系', fontproperties=myfont)
plt.show()

Python scikit-learn 做线性回归的示例代码

第四步:数据模型应用——预测房价

lm.predict(X)[0:5]

array([ 30.00821269, 25.0298606 , 30.5702317 , 28.60814055, 27.94288232])

mse = np.mean((bos.PRICE - lm.predict(X)) ** 2)
print(mse)

21.897779217687486

总结

1 使用.DESCR探索波士顿数据集,业务目标是预测波士顿郊区住房的房价;

2 使用scikit-learn针对整个数据集拟合线性回归模型,并计算均方误差。

思考环节

1 对数据集分割成训练数据集和测试数据集

2 训练数据集训练线性回归模型,利用线性回归模型对测试数据集进行预测

3 计算训练模型的MSE和测试数据集预测结果的MSE

4 绘制测试数据集的残差图

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python批量导出导入MySQL用户的方法
Nov 15 Python
Python2.x与Python3.x的区别
Jan 14 Python
Python处理Excel文件实例代码
Jun 20 Python
Python实现KNN邻近算法
Jan 28 Python
Django安装配置mysql的方法步骤
Oct 15 Python
详解Python装饰器
Mar 25 Python
详解Django定时任务模块设计与实践
Jul 24 Python
python matplotlib库绘制条形图练习题
Aug 10 Python
python中with用法讲解
Feb 07 Python
使用python实现飞机大战游戏
Mar 23 Python
python 基于opencv 绘制图像轮廓
Dec 11 Python
Python 找出英文单词列表(list)中最长单词链
Dec 14 Python
机器学习python实战之手写数字识别
Nov 01 #Python
Python定时器实例代码
Nov 01 #Python
机器学习python实战之决策树
Nov 01 #Python
详解Python开发中如何使用Hook技巧
Nov 01 #Python
python利用标准库如何获取本地IP示例详解
Nov 01 #Python
你眼中的Python大牛 应该都有这份书单
Oct 31 #Python
Python生成数字图片代码分享
Oct 31 #Python
You might like
PHP中substr_count()函数获取子字符串出现次数的方法
2016/01/07 PHP
php中实现进程锁与多进程的方法
2016/09/18 PHP
Laravel框架执行原生SQL语句及使用paginate分页的方法
2018/08/17 PHP
javascript 图片裁剪技巧解读
2012/11/15 Javascript
JS中typeof与instanceof之间的区别总结
2013/11/14 Javascript
JavaScript实现在页面间传值的方法
2015/04/07 Javascript
js实现具有高亮显示效果的多级菜单代码
2015/09/01 Javascript
Bootstrap实现下拉菜单效果
2016/04/29 Javascript
arcgis for js 修改infowindow样式的方法
2016/11/02 Javascript
Vue.js组件tree实现省市多级联动
2016/12/02 Javascript
js获取当前页的URL与window.location.href简单方法
2017/02/13 Javascript
详解js静态资源文件请求的处理
2017/08/01 Javascript
JS实现的简单标签点击切换功能示例
2017/09/21 Javascript
Javascript中从学习bind到实现bind的过程
2018/01/05 Javascript
vue.js实现点击后动态添加class及删除同级class的实现代码
2018/04/04 Javascript
node爬取新型冠状病毒的疫情实时动态
2020/02/06 Javascript
使用Vue-cli 中为单独页面设置背景图片铺满全屏
2020/07/17 Javascript
vue cli 3.0通用打包配置代码,不分一二级目录
2020/09/02 Javascript
python使用百度翻译进行中翻英示例
2014/04/14 Python
Python中MySQL数据迁移到MongoDB脚本的方法
2016/04/28 Python
Flask框架URL管理操作示例【基于@app.route】
2018/07/23 Python
Python正则表达式和re库知识点总结
2019/02/11 Python
python-序列解包(对可迭代元素的快速取值方法)
2019/08/24 Python
python对常见数据类型的遍历解析
2019/08/27 Python
python3.5 cv2 获取视频特定帧生成jpg图片
2019/08/28 Python
哪种Python框架适合你?简单介绍几种主流Python框架
2020/08/04 Python
CSS3 实现童年的纸飞机
2019/05/05 HTML / CSS
美国网上鞋子零售商:Dr. Scholl’s Shoes
2017/11/17 全球购物
LORAC官网:美国彩妆品牌
2019/08/27 全球购物
物流仓储计划书
2014/01/10 职场文书
乔迁宴答谢词
2014/01/21 职场文书
小学生开学感言
2014/02/28 职场文书
2015年元旦促销方案书
2014/12/09 职场文书
个人年底工作总结
2015/03/10 职场文书
MySQL为数据表建立索引的原则详解
2022/03/03 MySQL
Redis基本数据类型Zset有序集合常用操作
2022/06/01 Redis