朴素贝叶斯算法的python实现方法


Posted in Python onNovember 18, 2014

本文实例讲述了朴素贝叶斯算法的python实现方法。分享给大家供大家参考。具体实现方法如下:

朴素贝叶斯算法优缺点

优点:在数据较少的情况下依然有效,可以处理多类别问题

缺点:对输入数据的准备方式敏感

适用数据类型:标称型数据

算法思想:

比如我们想判断一个邮件是不是垃圾邮件,那么我们知道的是这个邮件中的词的分布,那么我们还要知道:垃圾邮件中某些词的出现是多少,就可以利用贝叶斯定理得到。

朴素贝叶斯分类器中的一个假设是:每个特征同等重要

函数
loadDataSet()

创建数据集,这里的数据集是已经拆分好的单词组成的句子,表示的是某论坛的用户评论,标签1表示这个是骂人的

createVocabList(dataSet)

找出这些句子中总共有多少单词,以确定我们词向量的大小

setOfWords2Vec(vocabList, inputSet)

将句子根据其中的单词转成向量,这里用的是伯努利模型,即只考虑这个单词是否存在

bagOfWords2VecMN(vocabList, inputSet)

这个是将句子转成向量的另一种模型,多项式模型,考虑某个词的出现次数

trainNB0(trainMatrix,trainCatergory)

计算P(i)和P(w[i]|C[1])和P(w[i]|C[0]),这里有两个技巧,一个是开始的分子分母没有全部初始化为0是为了防止其中一个的概率为0导致整体为0,另一个是后面乘用对数防止因为精度问题结果为0

classifyNB(vec2Classify, p0Vec, p1Vec, pClass1)

根据贝叶斯公式朴素贝叶斯算法的python实现方法计算这个向量属于两个集合中哪个的概率高

#coding=utf-8

from numpy import *

def loadDataSet():

    postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],

                 ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],

                 ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],

                 ['stop', 'posting', 'stupid', 'worthless', 'garbage'],

                 ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],

                 ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]

    classVec = [0,1,0,1,0,1]    #1 is abusive, 0 not

    return postingList,classVec
#创建一个带有所有单词的列表

def createVocabList(dataSet):

    vocabSet = set([])

    for document in dataSet:

        vocabSet = vocabSet | set(document)

    return list(vocabSet)

    

def setOfWords2Vec(vocabList, inputSet):

    retVocabList = [0] * len(vocabList)

    for word in inputSet:

        if word in vocabList:

            retVocabList[vocabList.index(word)] = 1

        else:

            print 'word ',word ,'not in dict'

    return retVocabList
#另一种模型    

def bagOfWords2VecMN(vocabList, inputSet):

    returnVec = [0]*len(vocabList)

    for word in inputSet:

        if word in vocabList:

            returnVec[vocabList.index(word)] += 1

    return returnVec
def trainNB0(trainMatrix,trainCatergory):

    numTrainDoc = len(trainMatrix)

    numWords = len(trainMatrix[0])

    pAbusive = sum(trainCatergory)/float(numTrainDoc)

    #防止多个概率的成绩当中的一个为0

    p0Num = ones(numWords)

    p1Num = ones(numWords)

    p0Denom = 2.0

    p1Denom = 2.0

    for i in range(numTrainDoc):

        if trainCatergory[i] == 1:

            p1Num +=trainMatrix[i]

            p1Denom += sum(trainMatrix[i])

        else:

            p0Num +=trainMatrix[i]

            p0Denom += sum(trainMatrix[i])

    p1Vect = log(p1Num/p1Denom)#处于精度的考虑,否则很可能到限归零

    p0Vect = log(p0Num/p0Denom)

    return p0Vect,p1Vect,pAbusive

    

def classifyNB(vec2Classify, p0Vec, p1Vec, pClass1):

    p1 = sum(vec2Classify * p1Vec) + log(pClass1)    #element-wise mult

    p0 = sum(vec2Classify * p0Vec) + log(1.0 - pClass1)

    if p1 > p0:

        return 1

    else: 

        return 0

        

def testingNB():

    listOPosts,listClasses = loadDataSet()

    myVocabList = createVocabList(listOPosts)

    trainMat=[]

    for postinDoc in listOPosts:

        trainMat.append(setOfWords2Vec(myVocabList, postinDoc))

    p0V,p1V,pAb = trainNB0(array(trainMat),array(listClasses))

    testEntry = ['love', 'my', 'dalmation']

    thisDoc = array(setOfWords2Vec(myVocabList, testEntry))

    print testEntry,'classified as: ',classifyNB(thisDoc,p0V,p1V,pAb)

    testEntry = ['stupid', 'garbage']

    thisDoc = array(setOfWords2Vec(myVocabList, testEntry))

    print testEntry,'classified as: ',classifyNB(thisDoc,p0V,p1V,pAb)

    

    

def main():

    testingNB()

    

if __name__ == '__main__':

    main()

希望本文所述对大家的Python程序设计有所帮助。

Python 相关文章推荐
python解析xml文件实例分享
Dec 04 Python
python实现监控windows服务并自动启动服务示例
Apr 17 Python
python里大整数相乘相关技巧指南
Sep 12 Python
零基础写python爬虫之urllib2使用指南
Nov 05 Python
K-means聚类算法介绍与利用python实现的代码示例
Nov 13 Python
Python+OpenCV人脸检测原理及示例详解
Oct 19 Python
python命令行解析之parse_known_args()函数和parse_args()使用区别介绍
Jan 24 Python
matplotlib实现热成像图colorbar和极坐标图的方法
Dec 13 Python
基于wxPython的GUI实现输入对话框(2)
Feb 27 Python
python实现暗通道去雾算法的示例
Sep 27 Python
Python快速优雅的批量修改Word文档样式
May 20 Python
python计算列表元素与乘积详情
Aug 05 Python
使用django-suit为django 1.7 admin后台添加模板
Nov 18 #Python
DJANGO-ALLAUTH社交用户系统的安装配置
Nov 18 #Python
django 自定义用户user模型的三种方法
Nov 18 #Python
使用grappelli为django admin后台添加模板
Nov 18 #Python
django模型中的字段和model名显示为中文小技巧分享
Nov 18 #Python
如何解决django配置settings时遇到Could not import settings 'conf.local'
Nov 18 #Python
github配置使用指南
Nov 18 #Python
You might like
浅析php中常量,变量的作用域和生存周期
2013/08/10 PHP
PHP实现懒加载的方法
2015/03/07 PHP
php实现字符串首字母转换成大写的方法
2015/03/17 PHP
php curl 获取https请求的2种方法
2015/04/27 PHP
php实现表单多按钮提交action的处理方法
2015/10/24 PHP
php魔法函数与魔法常量使用介绍
2017/07/23 PHP
非常不错的一个javascript 类
2006/11/07 Javascript
ExtJS 2.2.1的grid控件在ie6中的显示问题
2009/05/04 Javascript
Javascript 键盘事件的组合使用实现代码
2012/05/04 Javascript
javascript五图轮播切换实用版
2012/08/17 Javascript
Javascript 颜色渐变效果的实现代码
2013/10/01 Javascript
jquery实现页面虚拟键盘特效
2015/08/08 Javascript
Jquery效果大全之制作电脑健康体检得分特效附源码下载
2015/11/02 Javascript
VUEJS实战之修复错误并且美化时间(2)
2016/06/13 Javascript
KnockoutJS 3.X API 第四章之表单value绑定
2016/10/10 Javascript
jQuery基于事件控制实现点击显示内容下拉效果
2017/03/07 Javascript
Vue.js2.0中的变化小结
2017/10/24 Javascript
jQuery Validate插件ajax方式验证输入值的实例
2017/12/21 jQuery
Vue 幸运大转盘实现思路详解
2019/05/06 Javascript
Vue 嵌套路由使用总结(推荐)
2020/01/13 Javascript
Python实现基于HTTP文件传输实例
2014/11/08 Python
使用Python求解最大公约数的实现方法
2015/08/20 Python
Python之csv文件从MySQL数据库导入导出的方法
2018/06/21 Python
python 制作自定义包并安装到系统目录的方法
2018/10/27 Python
python实现文件的备份流程详解
2019/06/18 Python
pandas计数 value_counts()的使用
2019/06/24 Python
解决Keras 自定义层时遇到版本的问题
2020/06/16 Python
Aerosoles爱柔仕官网:美国舒软女鞋品牌
2017/07/17 全球购物
自荐信的禁忌和要点
2013/10/15 职场文书
成人继续教育实施方案
2014/03/01 职场文书
关于读书的演讲稿
2014/05/07 职场文书
党员先锋岗事迹材料
2014/05/08 职场文书
安全伴我行演讲稿
2014/09/04 职场文书
《爱的教育》读书心得
2014/11/08 职场文书
关于运动会的广播稿
2015/08/19 职场文书
MySQL查询学习之基础查询操作
2021/05/08 MySQL