python机器学习实现oneR算法(以鸢尾data为例)


Posted in Python onMarch 03, 2022

oneR即“一条规则”。oneR算法根据已有的数据中,具有相同特征值的个体最可能属于哪个类别来进行分类。
以鸢尾data为例,该算法实现过程可解读为以下六步:

一、 导包与获取数据

以均值为阈值,将大于或等于阈值的特征标记为1,低于阈值的特征标记为0。

import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.datasets import load_iris
from collections import defaultdict
from operator import itemgetter
import warnings
from sklearn.metrics import classification_report

# 加载内置iris数据,并保存
dataset = load_iris()  
X = dataset.data
y = dataset.target

attribute_means = X.mean(axis=0)  # 得到一个列表,列表元素个数为特征值个数,列表值为每个特征的均值
X_d = np.array(X >= attribute_means, dtype='int')  # 转bool类型

数据到此已获取完毕,接下来将其划分为训练集和测试集。

二、划分为训练集和测试集

使用默认的0.25作为分割比例。即训练集:测试集=3:1。

X_train, X_test, y_train, y_test = train_test_split(X_d, y, random_state=random_state)

数据描述:
本例中共有四个特征,
原数据集有150个样本,分割后训练集有112个数据,测试集有38个数据。
标签一共分为三类,取值可以是0,1,2。

三、定义函数:获取某特征值出现次数最多的类别及错误率

首先遍历特征的每一个取值,对于每一个特征值,统计它在各个类别中出现的次数。
定义一个函数,有以下四个参数:

  • X, y_true即 训练集数据和标签
  • feature是特征的索引值,可以是0,1,2,3。
  • value是特征可以有的取值,这里为0,1。

该函数的意义在于,对于训练集数据,对于某个特征,依次遍历样本在该特征的真实取值,判断其是否等于特征的某个可以有的取值 (即value)(以0为例)。如果判定成功,则在字典class_counts中记录,以三个类别(0,1,2)中该样本对应的类别为键值,表示该类别出现的次数加一。

首先得到的字典(class_counts)形如:
{0: x1, 1.0: x2, 2.0:x3}
其中元素不一定是三个
x1:类别0中,某个特征feature的特征值为value(0或1)出现的次数
x2:类别0中,某个特征feature的特征值为value(0或1)出现的次数
x3:类别0中,某个特征feature的特征值为value(0或1)出现的次数

然后将class_counts按照值的大小排序,取出指定特征的特征值出现次数最多的类别:most_frequent_class。
该规则即为:该特征的该特征值出现在其出现次数最多的类别上是合理的,出现在其它类别上是错误的。

最后计算该规则的错误率:error
错误率具有该特征的个体在除出现次数最多的类别出现的次数,代表分类规则不适用的个体的数量

最后返回待预测的个体类别错误率

def train_feature_value(X, y_true, feature, value):
    class_counts = defaultdict(int)
    for sample, y_t in zip(X, y_true):
        if sample[feature] == value:
            class_counts[y_t] += 1
    sorted_class_counts = sorted(class_counts.items(), key=itemgetter(1), reverse=True) # 降序
    most_frequent_class = sorted_class_counts[0][0]
    error = sum([class_count for class_value, class_count in class_counts.items()
                 if class_value != most_frequent_class])
    return most_frequent_class, error

返回值most_frequent_class是一个字典, error是一个数字

四、定义函数:获取每个特征值下出现次数最多的类别、错误率

def train(X, y_true, feature):
    n_samples, n_features = X.shape
    assert 0 <= feature < n_features
    # 获取样本中某特征所有可能的取值
    values = set(X[:, feature])
    predictors = dict()
    errors = []
    for current_value in values:
        most_frequent_class, error = train_feature_value(X, y_true, feature, current_value)
        predictors[current_value] = most_frequent_class
        errors.append(error)
    total_error = sum(errors)
    return predictors, total_error

因为most_frequent_class是一个字典,所以predictors是一个键为特征可以的取值(0和1),值为字典most_frequent_class的 字典。
total_error是一个数字,为每个特征值下的错误率的和。

五、调用函数,获取最佳特征值

all_predictors = {variable: train(X_train, y_train, variable) for variable in range(X_train.shape[1])}
Errors = {variable: error for variable, (mapping, error) in all_predictors.items()}
# 找到错误率最低的特征
best_variable, best_error = sorted(Errors.items(), key=itemgetter(1))[0]  # 升序
print("The best model is based on feature {0} and has error {1:.2f}".format(best_variable, best_error))
# 找到最佳特征值,创建model模型
model = {'variable': best_variable,
         'predictor': all_predictors[best_variable][0]}
print(model)

python机器学习实现oneR算法(以鸢尾data为例)

根据代码运行结果,最佳特征值是特征2(索引值为2的feature,即第三个特征)。

对于初学者这里的代码逻辑比较复杂,可以对变量进行逐个打印查看,阅读blog学习时要盯准字眼,细品其逻辑。

print(all_predictors)
print(all_predictors[best_variable])
print(all_predictors[best_variable][0])

python机器学习实现oneR算法(以鸢尾data为例)

六、测试算法

定义预测函数,对测试集数据进行预测

def predict(X_test, model):
    variable = model['variable']
    predictor = model['predictor']
    y_predicted = np.array([predictor[int(sample[variable])] for sample in X_test])
    return y_predicted

# 对测试集数据进行预测
y_predicted = predict(X_test, model)
print(y_predicted)

预测结果:

python机器学习实现oneR算法(以鸢尾data为例)

# 统计预测准确率
accuracy = np.mean(y_predicted == y_test) * 100
print("The test accuracy is {:.1f}%".format(accuracy))

python机器学习实现oneR算法(以鸢尾data为例)

根据打印结果,该模型预测的准确率可达65.8%,对于只有一条规则的oneR算法而言,结果是比较良好的。到此便实现了oneR算法的一次完整应用。

最后,还可以使用classification_report()方法,传入测试集的真实值和预测值,打印出模型评估报告。

# 屏蔽警告
warnings.filterwarnings("ignore") 
# 打印模型评估报告
print(classification_report(y_test, y_predicted))  # 参数为测试集的真实数据和预测数据

python机器学习实现oneR算法(以鸢尾data为例)

 到此这篇关于python机器学习实现oneR算法(以鸢尾data为例)的文章就介绍到这了,更多相关python oneR算法内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python处理cookie详解
Feb 07 Python
理解生产者消费者模型及在Python编程中的运用实例
Jun 26 Python
Python实现通过文件路径获取文件hash值的方法
Apr 29 Python
Python实现的选择排序算法原理与用法实例分析
Nov 22 Python
python 接口测试response返回数据对比的方法
Feb 11 Python
python numpy 部分排序 寻找最大的前几个数的方法
Jun 27 Python
OpenCV HSV颜色识别及HSV基本颜色分量范围
Mar 22 Python
Python语言进阶知识点总结
May 28 Python
python BlockingScheduler定时任务及其他方式的实现
Sep 19 Python
Python使用20行代码实现微信聊天机器人
Jun 05 Python
用python进行视频剪辑
Nov 02 Python
python 单机五子棋对战游戏
Apr 28 Python
详解python的异常捕获
Mar 03 #Python
分享提高 Python 代码的可读性的技巧
Mar 03 #Python
使用python创建股票的时间序列可视化分析
Python Pandas读取Excel日期数据的异常处理方法
pytorch中的torch.nn.Conv2d()函数图文详解
Feb 28 #Python
python3中apply函数和lambda函数的使用详解
Feb 28 #Python
你需要掌握的20个Python常用技巧
Feb 28 #Python
You might like
PHP 获取文件权限函数介绍
2013/07/11 PHP
php+js实现异步图片上传实例分享
2014/06/02 PHP
用PHP代替JS玩转DOM的思路及示例代码
2014/06/15 PHP
PHP 数组遍历foreach语法结构及实例
2016/06/13 PHP
php实现xml转换数组的方法示例
2017/02/03 PHP
Thinkphp 框架配置操作之配置加载与读取配置实例分析
2020/05/15 PHP
JS实现的省份级联实例代码
2013/06/24 Javascript
js导出txt示例代码
2014/01/14 Javascript
如何正确使用javascript 来进行我们的程序开发
2014/06/23 Javascript
FullCalendar日历插件应用之数据展现(一)
2015/12/23 Javascript
实例代码详解javascript实现窗口抖动及qq窗口抖动
2016/01/04 Javascript
基于JS实现导航条之调用网页助手小精灵的方法
2016/06/17 Javascript
JavaScript之DOM插入更新删除_动力节点Java学院整理
2017/07/03 Javascript
Vue 实现展开折叠效果的示例代码
2018/08/27 Javascript
vue项目中,main.js,App.vue,index.html的调用方法
2018/09/20 Javascript
countUp.js实现数字动态变化效果
2019/10/17 Javascript
jQuery实现颜色打字机的完整代码
2020/03/19 jQuery
vue缓存之keep-alive的理解和应用详解
2020/11/02 Javascript
python实现中文输出的两种方法
2015/05/09 Python
python实现播放音频和录音功能示例代码
2018/12/30 Python
11个Python3字典内置方法大全与示例汇总
2019/05/13 Python
Python中 CSV格式清洗与转换的实例代码
2019/08/29 Python
tensorflow的计算图总结
2020/01/12 Python
分享unittest单元测试框架中几种常用的用例加载方法
2020/12/02 Python
HTML中meta标签及Keywords
2020/04/15 HTML / CSS
捷克家居装饰及图书音像购物网站:Velký košík
2018/04/16 全球购物
假日旅行社实习自我鉴定
2013/09/24 职场文书
如何填写个人简历自我评价
2013/12/10 职场文书
霸王洗发水广告词
2014/03/14 职场文书
改革共识倡议书
2014/08/29 职场文书
专题组织生活会思想汇报
2014/10/01 职场文书
终止劳动合同证明书样本
2014/11/19 职场文书
python 实现的截屏工具
2021/05/08 Python
关于Nginx中虚拟主机的一些冷门知识小结
2022/03/03 Servers
javascript之Object.assign()的痛点分析
2022/03/03 Javascript
Win10 最新稳定版本 21H2开始推送
2022/04/19 数码科技