深度学习详解之初试机器学习


Posted in Python onApril 14, 2021

机器学习可应用在各个方面,本篇将在系统性进入机器学习方向前,初步认识机器学习,利用线性回归预测波士顿房价;

原理简介

利用线性回归最简单的形式预测房价,只需要把它当做是一次线性函数y=kx+b即可。我要做的就是利用已有数据,去学习得到这条直线,有了这条直线,则对于某个特征x(比如住宅平均房间数)的任意取值,都可以找到直线上对应的房价y,也就是模型的预测值。
从上面的问题看出,这应该是一个有监督学习中的回归问题,待学习的参数为实数k和实数b(因为就只有一个特征x),从样本集合sample中取出一对数据(xi,yi),xi​代入kx+b得到输出y^i,MSE可以衡量预测输出与样本标注的接近程度,所以把MSE作为这个问题的损失函数,对于共m mm个样本的集合,损失函数计算为:J(k,b)=1i=1∑m(yi−yi)2

一般需要遍历数据集迭代多次,才能得到一个较好的结果

波士顿房价数据集

房价预测的实现将基于sklearn(scikit-learn),sklearn中有多种数据集:

  • 自带的小数据集(packaged dataset):sklearn.datasets.load_<name>
  • 可在线下载的数据集(Downloaded Dataset):sklearn.datasets.fetch_<name>
  • 自定义生成的数据集(Generated Dataset):sklearn.datasets.make_<name>

首先从sklearn的数据集获取内置数据集中的即波士顿房价数据:

from sklearn.datasets import load_boston

导入其他功能包和模块,导入线性回归模型:

# 使用sklearn 中的 train_test_split 划分数据集
from sklearn.model_selection import train_test_split
# 使用 sklearn 中的线性回归模型进行预测
from sklearn.linear_model import LinearRegression
# 使用 matplotlib 中的 pyplot 进行可视化
import matplotlib.pyplot as plt

加载数据集:

# 加载波士顿房价数据集,返回特征X和标签y
X, y = load_boston(return_X_y=True)
X.shape # (506, 13)
y.shape # (506,)

取出一个特征作为x:

# 只取第6列特征(方便可视化):住宅平均房间数
# 注意切片区间左闭右开
X = X[:,5:6]

划分为训练集和测试集,测试集取20%:

X_train, X_test, y_train, y_test = train_test_split(X,y,test_size=0.2, random_state=2020)

使用到sklearn.model_selection.train_test_split,函数形式为:

train_test_split(train_data, train_target, test_size, random_state,shuffle)
  • test_size:浮点数,在0 ~ 1之间,表示测试样本占比
  • random_state:随机种子,种子不同,每次调用时采样的样本不同;种子相同,每次调用时采样一致
  • shuffle = True,打乱样本数据的顺序

严格来说,对于有监督学习的数据集应分为训练集,验证集,测试集;训练集和验证集有标注,测试集没有标注,泛化能力在验证集上进行检验

划分后的训练数据:

X_train.shape # (404, 1)
y_train.shape # (404,)

建立线性回归模型

在sklearn下,机器学习建模非常方便:

  1. 实例化模型,输入合适的超参数会使模型性能提升
  2. 输入数据训练
  3. 验证模型

建立线性回归模型如下:

# 创建线性回归对象
regr = LinearRegression()
# 使用训练集训练模型
regr.fit(X_train, y_train)
# 在测试集上进行预测
y_pred = regr.predict(X_test)

注意到模型直到接收到训练数据,才最终确定具体形式,比如发现输入数据是(404,1),才确定线性回归形式为kx+b,而不是kx+cx+b

# 画测试数据散点图
plt.scatter(X_test, y_test,  color='blue')
# 画线性回归模型对测试数据的拟合曲线
plt.plot(X_test, y_pred, color='red')
# 显示绘图结果
plt.show()

深度学习详解之初试机器学习

打印模型参数有(注意区分参数和超参数):

# 打印斜率和截距
print('斜率:{}, 截距:{}'.format(regr.coef_,regr.intercept_))

结果为:

斜率:[9.11163398], 截距:-34.47557789280662

到此这篇关于初试机器学习的文章就介绍到这了,更多相关初识机器学习内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章,希望大家以后多多支持三水点靠木!

Python 相关文章推荐
pygame学习笔记(4):声音控制
Apr 15 Python
python通过zabbix api获取主机
Sep 17 Python
Python HTML解析器BeautifulSoup用法实例详解【爬虫解析器】
Apr 05 Python
Python的numpy库下的几个小函数的用法(小结)
Jul 12 Python
在python中将list分段并保存为array类型的方法
Jul 15 Python
对python中的float除法和整除法的实例详解
Jul 20 Python
Django中的用户身份验证示例详解
Aug 07 Python
Python 合并多个TXT文件并统计词频的实现
Aug 23 Python
python打包成so文件过程解析
Sep 28 Python
Python中的延迟绑定原理详解
Oct 11 Python
Python三维绘图之Matplotlib库的使用方法
Sep 20 Python
详解pandas映射与数据转换
Jan 22 Python
正确的理解和使用Django信号(Signals)
Apr 14 #Python
编写python程序的90条建议
Apr 14 #Python
Python基础知识之变量的详解
理解深度学习之深度学习简介
Apr 14 #Python
python基于scrapy爬取京东笔记本电脑数据并进行简单处理和分析
深度学习小工程练习之垃圾分类详解
python3美化表格数据输出结果的实现代码
Apr 14 #Python
You might like
全国FM电台频率大全 - 27 陕西省
2020/03/11 无线电
PHP session有效期问题
2009/04/26 PHP
PHP strtotime函数详解
2009/12/18 PHP
php将会员数据导入到ucenter的代码
2010/07/18 PHP
PHP之COOKIE支持详解
2010/09/20 PHP
Trying to clone an uncloneable object of class Imagic的解决方法
2012/01/11 PHP
php实现短信发送代码
2015/07/05 PHP
文字溢出实现溢出的部分再放入一个新生成的div中具体代码
2013/05/17 Javascript
js调用后台servlet方法实例
2013/06/09 Javascript
浅谈JavaScript函数参数的可修改性问题
2013/12/05 Javascript
JQuery中$.ajax()方法参数详解及应用
2013/12/12 Javascript
jquery实现简单手风琴菜单效果实例
2015/06/13 Javascript
前端js实现文件的断点续传 后端PHP文件接收
2016/10/14 Javascript
JavaScript数组去重的6个方法
2017/01/21 Javascript
简单的vue-resourse获取json并应用到模板示例
2017/02/10 Javascript
elementUI 设置input的只读或禁用的方法
2018/10/30 Javascript
js表达式与运算符简单操作示例
2020/02/15 Javascript
原生JavaScript实现拖动校验功能
2020/09/29 Javascript
Python实现将一个大文件按段落分隔为多个小文件的简单操作方法
2017/04/17 Python
Python实现的选择排序算法原理与用法实例分析
2017/11/22 Python
Python有序查找算法之二分法实例分析
2017/12/11 Python
python实现外卖信息管理系统
2018/01/11 Python
用TensorFlow实现lasso回归和岭回归算法的示例
2018/05/02 Python
Python图像处理之识别图像中的文字(实例讲解)
2018/05/10 Python
python3转换code128条形码的方法
2019/04/17 Python
python seaborn heatmap可视化相关性矩阵实例
2020/06/03 Python
Python通过kerberos安全认证操作kafka方式
2020/06/06 Python
市优秀教师事迹材料
2014/02/05 职场文书
旅游与酒店管理专业求职信
2014/07/21 职场文书
领导干部“四风”查摆问题个人整改措施
2014/10/28 职场文书
经理岗位职责范本
2015/04/15 职场文书
2015年小学英语教师工作总结
2015/05/12 职场文书
2015年统战工作总结
2015/05/19 职场文书
遗嘱格式范本
2015/08/07 职场文书
Oracle 数据仓库ETL技术之多表插入语句的示例详解
2021/04/12 Oracle
Tomcat执行startup.bat出现闪退的原因及解决办法
2022/04/20 Servers