深度学习详解之初试机器学习


Posted in Python onApril 14, 2021

机器学习可应用在各个方面,本篇将在系统性进入机器学习方向前,初步认识机器学习,利用线性回归预测波士顿房价;

原理简介

利用线性回归最简单的形式预测房价,只需要把它当做是一次线性函数y=kx+b即可。我要做的就是利用已有数据,去学习得到这条直线,有了这条直线,则对于某个特征x(比如住宅平均房间数)的任意取值,都可以找到直线上对应的房价y,也就是模型的预测值。
从上面的问题看出,这应该是一个有监督学习中的回归问题,待学习的参数为实数k和实数b(因为就只有一个特征x),从样本集合sample中取出一对数据(xi,yi),xi​代入kx+b得到输出y^i,MSE可以衡量预测输出与样本标注的接近程度,所以把MSE作为这个问题的损失函数,对于共m mm个样本的集合,损失函数计算为:J(k,b)=1i=1∑m(yi−yi)2

一般需要遍历数据集迭代多次,才能得到一个较好的结果

波士顿房价数据集

房价预测的实现将基于sklearn(scikit-learn),sklearn中有多种数据集:

  • 自带的小数据集(packaged dataset):sklearn.datasets.load_<name>
  • 可在线下载的数据集(Downloaded Dataset):sklearn.datasets.fetch_<name>
  • 自定义生成的数据集(Generated Dataset):sklearn.datasets.make_<name>

首先从sklearn的数据集获取内置数据集中的即波士顿房价数据:

from sklearn.datasets import load_boston

导入其他功能包和模块,导入线性回归模型:

# 使用sklearn 中的 train_test_split 划分数据集
from sklearn.model_selection import train_test_split
# 使用 sklearn 中的线性回归模型进行预测
from sklearn.linear_model import LinearRegression
# 使用 matplotlib 中的 pyplot 进行可视化
import matplotlib.pyplot as plt

加载数据集:

# 加载波士顿房价数据集,返回特征X和标签y
X, y = load_boston(return_X_y=True)
X.shape # (506, 13)
y.shape # (506,)

取出一个特征作为x:

# 只取第6列特征(方便可视化):住宅平均房间数
# 注意切片区间左闭右开
X = X[:,5:6]

划分为训练集和测试集,测试集取20%:

X_train, X_test, y_train, y_test = train_test_split(X,y,test_size=0.2, random_state=2020)

使用到sklearn.model_selection.train_test_split,函数形式为:

train_test_split(train_data, train_target, test_size, random_state,shuffle)
  • test_size:浮点数,在0 ~ 1之间,表示测试样本占比
  • random_state:随机种子,种子不同,每次调用时采样的样本不同;种子相同,每次调用时采样一致
  • shuffle = True,打乱样本数据的顺序

严格来说,对于有监督学习的数据集应分为训练集,验证集,测试集;训练集和验证集有标注,测试集没有标注,泛化能力在验证集上进行检验

划分后的训练数据:

X_train.shape # (404, 1)
y_train.shape # (404,)

建立线性回归模型

在sklearn下,机器学习建模非常方便:

  1. 实例化模型,输入合适的超参数会使模型性能提升
  2. 输入数据训练
  3. 验证模型

建立线性回归模型如下:

# 创建线性回归对象
regr = LinearRegression()
# 使用训练集训练模型
regr.fit(X_train, y_train)
# 在测试集上进行预测
y_pred = regr.predict(X_test)

注意到模型直到接收到训练数据,才最终确定具体形式,比如发现输入数据是(404,1),才确定线性回归形式为kx+b,而不是kx+cx+b

# 画测试数据散点图
plt.scatter(X_test, y_test,  color='blue')
# 画线性回归模型对测试数据的拟合曲线
plt.plot(X_test, y_pred, color='red')
# 显示绘图结果
plt.show()

深度学习详解之初试机器学习

打印模型参数有(注意区分参数和超参数):

# 打印斜率和截距
print('斜率:{}, 截距:{}'.format(regr.coef_,regr.intercept_))

结果为:

斜率:[9.11163398], 截距:-34.47557789280662

到此这篇关于初试机器学习的文章就介绍到这了,更多相关初识机器学习内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章,希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python和pyqt实现360的CLable控件
Feb 21 Python
python实现基于两张图片生成圆角图标效果的方法
Mar 26 Python
Python正则表达式教程之二:捕获篇
Mar 02 Python
解决uWSGI的编码问题详解
Mar 24 Python
python3.x 将byte转成字符串的方法
Jul 17 Python
django 通过url实现简单的权限控制的例子
Aug 16 Python
Python 多线程,threading模块,创建子线程的两种方式示例
Sep 29 Python
python第三方库学习笔记
Feb 07 Python
python GUI库图形界面开发之PyQt5图片显示控件QPixmap详细使用方法与实例
Feb 27 Python
tensorflow 2.0模式下训练的模型转成 tf1.x 版本的pb模型实例
Jun 22 Python
Python用SSH连接到网络设备
Feb 18 Python
浅谈Python数学建模之线性规划
Jun 23 Python
正确的理解和使用Django信号(Signals)
Apr 14 #Python
编写python程序的90条建议
Apr 14 #Python
Python基础知识之变量的详解
理解深度学习之深度学习简介
Apr 14 #Python
python基于scrapy爬取京东笔记本电脑数据并进行简单处理和分析
深度学习小工程练习之垃圾分类详解
python3美化表格数据输出结果的实现代码
Apr 14 #Python
You might like
PHP 身份证号验证函数
2009/05/07 PHP
PHP strncasecmp字符串比较的小技巧
2011/01/04 PHP
php 文件上传类代码
2011/08/06 PHP
ThinkPHP实现带验证码的文件上传功能实例
2014/11/01 PHP
jQuery中get()方法用法实例
2014/12/27 Javascript
AngularJS在IE8的不支持的解决方法
2016/05/13 Javascript
瀑布流的实现方式(原生js+jquery+css3)
2020/06/28 Javascript
jQuery中的AjaxSubmit使用讲解
2016/09/25 Javascript
解决Window10系统下Node安装报错的问题分析
2016/12/13 Javascript
详谈innerHTML innerText的使用和区别
2017/08/18 Javascript
layui checkbox默认选中,获取选中值,清空所有选中项的例子
2019/09/02 Javascript
Vue+Element实现网页版个人简历系统(推荐)
2019/12/31 Javascript
JS实现transform实现扇子效果
2020/01/17 Javascript
jquery检测上传文件大小示例
2020/04/26 jQuery
JS实现斐波那契数列的五种方式(小结)
2020/09/09 Javascript
js通过canvas生成图片缩略图
2020/10/02 Javascript
详解Vue中Axios封装API接口的思路及方法
2020/10/10 Javascript
用python删除java文件头上版权信息的方法
2014/07/31 Python
Python入门篇之字符串
2014/10/17 Python
Python的Flask开发框架简单上手笔记
2015/11/16 Python
小白如何入门Python? 制作一个网站为例
2018/03/06 Python
python 实现方阵的对角线遍历示例
2019/11/29 Python
Spark处理数据排序问题如何避免OOM
2020/05/21 Python
pycharm中选中一个单词替换所有重复单词的实现方法
2020/11/17 Python
Python3中FuzzyWuzzy库实例用法
2020/11/18 Python
Blancsom美国/加拿大:服装和生活用品供应商
2018/07/27 全球购物
捷克移动配件网上商店:ProMobily.cz
2019/03/15 全球购物
Ray-Ban雷朋瑞典官方网站:全球领先的太阳眼镜品牌
2019/08/22 全球购物
Aurora London官网:奢华、负担得起的皮革手袋
2020/08/01 全球购物
人事助理岗位职责
2013/11/18 职场文书
《月迹》教学反思
2014/02/19 职场文书
《沙漠中的绿洲》教学反思
2014/04/24 职场文书
岗位说明书范文
2014/05/07 职场文书
交警个人先进事迹材料
2014/05/11 职场文书
2015年科学教研组工作总结
2015/07/22 职场文书
2016年国培心得体会及反思
2016/01/13 职场文书