深度学习详解之初试机器学习


Posted in Python onApril 14, 2021

机器学习可应用在各个方面,本篇将在系统性进入机器学习方向前,初步认识机器学习,利用线性回归预测波士顿房价;

原理简介

利用线性回归最简单的形式预测房价,只需要把它当做是一次线性函数y=kx+b即可。我要做的就是利用已有数据,去学习得到这条直线,有了这条直线,则对于某个特征x(比如住宅平均房间数)的任意取值,都可以找到直线上对应的房价y,也就是模型的预测值。
从上面的问题看出,这应该是一个有监督学习中的回归问题,待学习的参数为实数k和实数b(因为就只有一个特征x),从样本集合sample中取出一对数据(xi,yi),xi​代入kx+b得到输出y^i,MSE可以衡量预测输出与样本标注的接近程度,所以把MSE作为这个问题的损失函数,对于共m mm个样本的集合,损失函数计算为:J(k,b)=1i=1∑m(yi−yi)2

一般需要遍历数据集迭代多次,才能得到一个较好的结果

波士顿房价数据集

房价预测的实现将基于sklearn(scikit-learn),sklearn中有多种数据集:

  • 自带的小数据集(packaged dataset):sklearn.datasets.load_<name>
  • 可在线下载的数据集(Downloaded Dataset):sklearn.datasets.fetch_<name>
  • 自定义生成的数据集(Generated Dataset):sklearn.datasets.make_<name>

首先从sklearn的数据集获取内置数据集中的即波士顿房价数据:

from sklearn.datasets import load_boston

导入其他功能包和模块,导入线性回归模型:

# 使用sklearn 中的 train_test_split 划分数据集
from sklearn.model_selection import train_test_split
# 使用 sklearn 中的线性回归模型进行预测
from sklearn.linear_model import LinearRegression
# 使用 matplotlib 中的 pyplot 进行可视化
import matplotlib.pyplot as plt

加载数据集:

# 加载波士顿房价数据集,返回特征X和标签y
X, y = load_boston(return_X_y=True)
X.shape # (506, 13)
y.shape # (506,)

取出一个特征作为x:

# 只取第6列特征(方便可视化):住宅平均房间数
# 注意切片区间左闭右开
X = X[:,5:6]

划分为训练集和测试集,测试集取20%:

X_train, X_test, y_train, y_test = train_test_split(X,y,test_size=0.2, random_state=2020)

使用到sklearn.model_selection.train_test_split,函数形式为:

train_test_split(train_data, train_target, test_size, random_state,shuffle)
  • test_size:浮点数,在0 ~ 1之间,表示测试样本占比
  • random_state:随机种子,种子不同,每次调用时采样的样本不同;种子相同,每次调用时采样一致
  • shuffle = True,打乱样本数据的顺序

严格来说,对于有监督学习的数据集应分为训练集,验证集,测试集;训练集和验证集有标注,测试集没有标注,泛化能力在验证集上进行检验

划分后的训练数据:

X_train.shape # (404, 1)
y_train.shape # (404,)

建立线性回归模型

在sklearn下,机器学习建模非常方便:

  1. 实例化模型,输入合适的超参数会使模型性能提升
  2. 输入数据训练
  3. 验证模型

建立线性回归模型如下:

# 创建线性回归对象
regr = LinearRegression()
# 使用训练集训练模型
regr.fit(X_train, y_train)
# 在测试集上进行预测
y_pred = regr.predict(X_test)

注意到模型直到接收到训练数据,才最终确定具体形式,比如发现输入数据是(404,1),才确定线性回归形式为kx+b,而不是kx+cx+b

# 画测试数据散点图
plt.scatter(X_test, y_test,  color='blue')
# 画线性回归模型对测试数据的拟合曲线
plt.plot(X_test, y_pred, color='red')
# 显示绘图结果
plt.show()

深度学习详解之初试机器学习

打印模型参数有(注意区分参数和超参数):

# 打印斜率和截距
print('斜率:{}, 截距:{}'.format(regr.coef_,regr.intercept_))

结果为:

斜率:[9.11163398], 截距:-34.47557789280662

到此这篇关于初试机器学习的文章就介绍到这了,更多相关初识机器学习内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章,希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python 处理数据的实例详解
Aug 10 Python
python opencv实现图片旋转矩形分割
Jul 26 Python
使用python批量读取word文档并整理关键信息到excel表格的实例
Nov 07 Python
python批量从es取数据的方法(文档数超过10000)
Dec 27 Python
python中时间模块的基本使用教程
May 14 Python
python opencv图片编码为h264文件的实例
Dec 12 Python
python自动化unittest yaml使用过程解析
Feb 03 Python
Python for循环搭配else常见问题解决
Feb 11 Python
python实现从尾到头打印单链表操作示例
Feb 22 Python
Python库安装速度过慢解决方案
Jul 14 Python
Python如何把字典写入到CSV文件的方法示例
Aug 23 Python
Python - 10行代码集2000张美女图
May 23 Python
正确的理解和使用Django信号(Signals)
Apr 14 #Python
编写python程序的90条建议
Apr 14 #Python
Python基础知识之变量的详解
理解深度学习之深度学习简介
Apr 14 #Python
python基于scrapy爬取京东笔记本电脑数据并进行简单处理和分析
深度学习小工程练习之垃圾分类详解
python3美化表格数据输出结果的实现代码
Apr 14 #Python
You might like
PHP基于curl后台远程登录正方教务系统的方法
2016/10/14 PHP
PHP创建对象的六种方式实例总结
2019/06/27 PHP
PHP pthreads v3使用中的一些坑和注意点分析
2020/02/21 PHP
JS input文本框禁用右键和复制粘贴功能的代码
2010/04/15 Javascript
JavaScript在IE和Firefox浏览器下的7个差异兼容写法小结
2010/06/18 Javascript
JS对外部文件的加载及对IFRMAME的加载的实现,当加载完成后,指定指向方法(方法回调)
2011/07/04 Javascript
jQuery实用基础超详细介绍
2013/04/11 Javascript
关于JavaScript与HTML的交互事件
2013/04/12 Javascript
javascript setTimeout和setInterval计时的区别详解
2013/06/21 Javascript
javascript 获取网页标题代码实例
2014/01/22 Javascript
jQuery Timelinr实现垂直水平时间轴插件(附源码下载)
2016/02/16 Javascript
js仿小米官网图片轮播特效
2016/09/29 Javascript
JavaScript数据结构与算法之二叉树插入节点、生成二叉树示例
2019/02/21 Javascript
微信小程序实现获取用户信息并存入数据库操作示例
2019/05/07 Javascript
Moment.js实现多个同时倒计时
2019/08/26 Javascript
Vue包大小优化的实现(从1.72M到94K)
2021/02/18 Vue.js
python实现跨文件全局变量的方法
2014/07/07 Python
在Python的Django框架中加载模版的方法
2015/07/16 Python
Django objects.all()、objects.get()与objects.filter()之间的区别介绍
2017/06/12 Python
python 垃圾收集机制的实例详解
2017/08/20 Python
怎么使用pipenv管理你的python项目
2018/03/12 Python
python方法生成txt标签文件的实例代码
2018/05/10 Python
Python实用技巧之利用元组代替字典并为元组元素命名
2018/07/11 Python
Python os.access()用法实例
2019/02/18 Python
python opencv实现证件照换底功能
2019/08/19 Python
Python openpyxl模块实现excel读写操作
2020/06/30 Python
CSS3打造百度贴吧的3D翻牌效果示例
2017/01/04 HTML / CSS
美国椅子和沙发制造商:La-Z-Boy
2020/10/25 全球购物
戴森比利时官方网站:Dyson BE
2020/10/03 全球购物
入党申请书自我鉴定
2013/10/12 职场文书
饭店工作计划书
2014/01/10 职场文书
竞选纪律委员演讲稿
2014/09/13 职场文书
拉贝日记观后感
2015/06/05 职场文书
英语投诉信范文
2015/07/03 职场文书
实习感想范文
2015/08/10 职场文书
党风廉洁教育心得体会
2016/01/20 职场文书