深度学习详解之初试机器学习


Posted in Python onApril 14, 2021

机器学习可应用在各个方面,本篇将在系统性进入机器学习方向前,初步认识机器学习,利用线性回归预测波士顿房价;

原理简介

利用线性回归最简单的形式预测房价,只需要把它当做是一次线性函数y=kx+b即可。我要做的就是利用已有数据,去学习得到这条直线,有了这条直线,则对于某个特征x(比如住宅平均房间数)的任意取值,都可以找到直线上对应的房价y,也就是模型的预测值。
从上面的问题看出,这应该是一个有监督学习中的回归问题,待学习的参数为实数k和实数b(因为就只有一个特征x),从样本集合sample中取出一对数据(xi,yi),xi​代入kx+b得到输出y^i,MSE可以衡量预测输出与样本标注的接近程度,所以把MSE作为这个问题的损失函数,对于共m mm个样本的集合,损失函数计算为:J(k,b)=1i=1∑m(yi−yi)2

一般需要遍历数据集迭代多次,才能得到一个较好的结果

波士顿房价数据集

房价预测的实现将基于sklearn(scikit-learn),sklearn中有多种数据集:

  • 自带的小数据集(packaged dataset):sklearn.datasets.load_<name>
  • 可在线下载的数据集(Downloaded Dataset):sklearn.datasets.fetch_<name>
  • 自定义生成的数据集(Generated Dataset):sklearn.datasets.make_<name>

首先从sklearn的数据集获取内置数据集中的即波士顿房价数据:

from sklearn.datasets import load_boston

导入其他功能包和模块,导入线性回归模型:

# 使用sklearn 中的 train_test_split 划分数据集
from sklearn.model_selection import train_test_split
# 使用 sklearn 中的线性回归模型进行预测
from sklearn.linear_model import LinearRegression
# 使用 matplotlib 中的 pyplot 进行可视化
import matplotlib.pyplot as plt

加载数据集:

# 加载波士顿房价数据集,返回特征X和标签y
X, y = load_boston(return_X_y=True)
X.shape # (506, 13)
y.shape # (506,)

取出一个特征作为x:

# 只取第6列特征(方便可视化):住宅平均房间数
# 注意切片区间左闭右开
X = X[:,5:6]

划分为训练集和测试集,测试集取20%:

X_train, X_test, y_train, y_test = train_test_split(X,y,test_size=0.2, random_state=2020)

使用到sklearn.model_selection.train_test_split,函数形式为:

train_test_split(train_data, train_target, test_size, random_state,shuffle)
  • test_size:浮点数,在0 ~ 1之间,表示测试样本占比
  • random_state:随机种子,种子不同,每次调用时采样的样本不同;种子相同,每次调用时采样一致
  • shuffle = True,打乱样本数据的顺序

严格来说,对于有监督学习的数据集应分为训练集,验证集,测试集;训练集和验证集有标注,测试集没有标注,泛化能力在验证集上进行检验

划分后的训练数据:

X_train.shape # (404, 1)
y_train.shape # (404,)

建立线性回归模型

在sklearn下,机器学习建模非常方便:

  1. 实例化模型,输入合适的超参数会使模型性能提升
  2. 输入数据训练
  3. 验证模型

建立线性回归模型如下:

# 创建线性回归对象
regr = LinearRegression()
# 使用训练集训练模型
regr.fit(X_train, y_train)
# 在测试集上进行预测
y_pred = regr.predict(X_test)

注意到模型直到接收到训练数据,才最终确定具体形式,比如发现输入数据是(404,1),才确定线性回归形式为kx+b,而不是kx+cx+b

# 画测试数据散点图
plt.scatter(X_test, y_test,  color='blue')
# 画线性回归模型对测试数据的拟合曲线
plt.plot(X_test, y_pred, color='red')
# 显示绘图结果
plt.show()

深度学习详解之初试机器学习

打印模型参数有(注意区分参数和超参数):

# 打印斜率和截距
print('斜率:{}, 截距:{}'.format(regr.coef_,regr.intercept_))

结果为:

斜率:[9.11163398], 截距:-34.47557789280662

到此这篇关于初试机器学习的文章就介绍到这了,更多相关初识机器学习内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章,希望大家以后多多支持三水点靠木!

Python 相关文章推荐
使用wxpython实现的一个简单图片浏览器实例
Jul 10 Python
Python中的__SLOTS__属性使用示例
Feb 18 Python
python实现telnet客户端的方法
Apr 15 Python
介绍Python中的__future__模块
Apr 27 Python
详解Django通用视图中的函数包装
Jul 21 Python
使用Python神器对付12306变态验证码
Jan 05 Python
python实现简单神经网络算法
Mar 10 Python
Flask框架学习笔记之使用Flask实现表单开发详解
Aug 12 Python
Python字符串处理的8招秘籍(小结)
Aug 13 Python
Python连接mysql方法及常用参数
Sep 01 Python
Python抖音快手代码舞(字符舞)的实现方法
Feb 07 Python
详解pandas apply 并行处理的几种方法
Feb 24 Python
正确的理解和使用Django信号(Signals)
Apr 14 #Python
编写python程序的90条建议
Apr 14 #Python
Python基础知识之变量的详解
理解深度学习之深度学习简介
Apr 14 #Python
python基于scrapy爬取京东笔记本电脑数据并进行简单处理和分析
深度学习小工程练习之垃圾分类详解
python3美化表格数据输出结果的实现代码
Apr 14 #Python
You might like
php mssql 时间格式问题
2009/01/13 PHP
解析在apache里面给php写虚拟目录的详细方法
2013/06/24 PHP
PHP反射机制用法实例
2014/08/28 PHP
smarty模板引擎从配置文件中获取数据的方法
2015/01/22 PHP
jQuery对html元素取值与赋值的方法
2013/11/20 Javascript
Eclipse下jQuery文件报错出现错误提示红叉
2014/01/13 Javascript
js日期、星座的级联显示代码
2014/01/23 Javascript
原生JavaScript生成GUID的实现示例
2014/09/05 Javascript
Nodejs学习笔记之Stream模块
2015/01/13 NodeJs
javascript封装简单实现方法
2015/08/11 Javascript
js绘制购物车抛物线动画
2020/11/18 Javascript
微信小程序 二维码canvas绘制实例详解
2017/01/06 Javascript
微信小程序城市定位的实现实例(获取当前所在国家城市信息)
2017/05/17 Javascript
node.js + socket.io 实现点对点随机匹配聊天
2017/06/30 Javascript
浅谈redux以及react-redux简单实现
2018/08/28 Javascript
JavaScript实现点击出现子菜单效果
2021/02/08 Javascript
python3实现暴力穷举博客园密码
2016/06/19 Python
玩转python selenium鼠标键盘操作(ActionChains)
2020/04/12 Python
对Python中range()函数和list的比较
2018/04/19 Python
解决python Markdown模块乱码的问题
2019/02/14 Python
Python通过递归获取目录下指定文件代码实例
2019/11/07 Python
Python版中国省市经纬度
2020/02/11 Python
在python3中实现查找数组中最接近与某值的元素操作
2020/02/29 Python
html5使用canvas画空心圆与实心圆
2014/12/15 HTML / CSS
英国最大的独立家具零售商:Furniture Village
2016/09/06 全球购物
伦敦一家非常流行的时尚精品店:Oxygen Boutique
2017/01/15 全球购物
马来西亚网上花店:FlowerAdvisor马来西亚
2020/01/03 全球购物
潘多拉珠宝美国官方网站:Pandora US
2020/06/18 全球购物
小学信息技术教学反思
2014/02/10 职场文书
乡镇创先争优活动总结
2014/08/28 职场文书
机动车交通事故协议书
2015/01/29 职场文书
优秀团员自我评价
2015/03/10 职场文书
2015年度合同管理工作总结
2015/05/22 职场文书
春风化雨观后感
2015/06/11 职场文书
2016年优秀少先队辅导员事迹材料
2016/02/26 职场文书
教你如何用Python实现人脸识别(含源代码)
2021/06/23 Python