python 实现敏感词过滤的方法


Posted in Python onJanuary 21, 2019

如下所示:

#!/usr/bin/python2.6  
# -*- coding: utf-8 -*- 
import time 
class Node(object): 
  def __init__(self): 
    self.children = None 
 
# The encode of word is UTF-8 
def add_word(root,word): 
  node = root 
  for i in range(len(word)): 
    if node.children == None: 
      node.children = {} 
      node.children[word[i]] = Node() 
 
    elif word[i] not in node.children: 
      node.children[word[i]] = Node() 
 
    node = node.children[word[i]] 
 
def init(path): 
  root = Node() 
  fp = open(path,'r') 
  for line in fp: 
    line = line[0:-1] 
    #print len(line) 
    #print line 
    #print type(line) 
    add_word(root,line) 
  fp.close() 
  return root 
 
# The encode of word is UTF-8 
# The encode of message is UTF-8 
def is_contain(message, root): 
  for i in range(len(message)): 
    p = root 
    j = i 
    while (j<len(message) and p.children!=None and message[j] in p.children): 
      p = p.children[message[j]] 
      j = j + 1 
 
    if p.children==None: 
      #print '---word---',message[i:j] 
      return True 
   
  return False 
 
 
 
def dfa(): 
  print '----------------dfa-----------' 
  root = init('/tmp/word.txt') 
 
  message = '四处乱咬乱吠,吓得家中11岁的女儿躲在屋里不敢出来,直到辖区派出所民警赶到后,才将孩子从屋中救出。最后在征得主人同意后,民警和村民合力将这只发疯的狗打死' 
  #message = '不顾' 
  print '***message***',len(message) 
  start_time = time.time() 
  for i in range(1000): 
    res = is_contain(message,root) 
    #print res 
  end_time = time.time() 
  print (end_time - start_time)  
 
def is_contain2(message,word_list): 
  for item in word_list: 
    if message.find(item)!=-1: 
      return True 
  return False 
 
def normal(): 
  print '------------normal--------------' 
  path = '/tmp/word.txt' 
  fp = open(path,'r') 
  word_list = [] 
  message = '四处乱咬乱吠,吓得家中11岁的女儿躲在屋里不敢出来,直到辖区派出所民警赶到后,才将孩子从屋中救出。最后在征得主人同意后,民警和村民合力将这只发疯的狗打死' 
  print '***message***',len(message) 
  for line in fp: 
    line = line[0:-1] 
    word_list.append(line) 
  fp.close() 
  print 'The count of word:',len(word_list) 
  start_time = time.time() 
  for i in range(1000): 
    res = is_contain2(message,word_list) 
    #print res 
  end_time = time.time() 
  print (end_time - start_time)  
 
 
if __name__ == '__main__': 
  dfa() 
  normal()

测试结果:

1) 敏感词 100个

----------------dfa-----------
***message*** 224
0.325479984283
------------normal--------------
***message*** 224
The count of word: 100
0.107350111008

2) 敏感词 1000 个

----------------dfa-----------
***message*** 224
0.324251890182
------------normal--------------
***message*** 224
The count of word: 1000
1.05939006805

从上面的实验我们可以看出,在DFA 算法只有在敏感词较多的情况下,才有意义。在百来个敏感词的情况下,甚至不如普通算法

下面从理论上推导时间复杂度,为了方便分析,首先假定消息文本是等长的,长度为lenA;每个敏感词的长度相同,长度为lenB,敏感词的个数是m。

1) DFA算法的核心是构建一棵多叉树,由于我们已经假设,敏感词的长度相同,所以树的最大深度为lenB,那么我们可以说从消息文本的某个位置(字节)开始的某个子串是否在敏感词树中,最多只用经过lenB次匹配.也就是说判断一个消息文本中是否有敏感词的时间复杂度是lenA * lenB

2) 再来看看普通做法,是使用for循环,对每一个敏感词,依次在消息文本中进行查找,假定字符串是使用KMP算法,KMP算法的时间复杂度是O(lenA + lenB)

那么对m个敏感词查找的时间复杂度是 (lenA + lenB ) * m

综上所述,DFA 算法的时间复杂度基本上是与敏感词的个数无关的。

以上这篇python 实现敏感词过滤的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python编程-将Python程序转化为可执行程序[整理]
Apr 09 Python
python调用windows api锁定计算机示例
Apr 17 Python
Python实现的HTTP并发测试完整示例
Apr 23 Python
python3连接MySQL数据库实例详解
May 24 Python
python3读取csv和xlsx文件的实例
Jun 22 Python
Python爬虫框架scrapy实现downloader_middleware设置proxy代理功能示例
Aug 04 Python
Python面向对象程序设计类变量与成员变量、类方法与成员方法用法分析
Apr 12 Python
Python中字典与恒等运算符的用法分析
Aug 22 Python
Numpy一维线性插值函数的用法
Apr 22 Python
Python子进程subpocess原理及用法解析
Jul 16 Python
用 Django 开发一个 Python Web API的方法步骤
Dec 03 Python
Python 键盘事件详解
Nov 11 Python
python执行精确的小数计算方法
Jan 21 #Python
详解安装mitmproxy以及遇到的坑和简单用法
Jan 21 #Python
python dict 相同key 合并value的实例
Jan 21 #Python
关于python之字典的嵌套,递归调用方法
Jan 21 #Python
对python 合并 累加两个dict的实例详解
Jan 21 #Python
python去重,一个由dict组成的list的去重示例
Jan 21 #Python
Python实现计算字符串中出现次数最多的字符示例
Jan 21 #Python
You might like
ADODB类使用
2006/11/25 PHP
CI框架中redis缓存相关操作文件示例代码
2016/05/17 PHP
PHP利用递归函数实现无限级分类的方法
2019/03/22 PHP
PHP 7.4中使用预加载的方法详解
2019/07/08 PHP
JS Array对象入门分析
2008/10/30 Javascript
基于Jquery的实现回车键Enter切换焦点
2010/09/14 Javascript
自写的一个jQuery圆角插件
2010/10/26 Javascript
基于jquery DOM写的类似微博发布的效果
2012/10/20 Javascript
jquery实现点击label的同时触发文本框点击事件的方法
2015/06/05 Javascript
js实现带有介绍的Select列表菜单实例
2015/08/18 Javascript
javascript实现网站加入收藏功能
2015/12/16 Javascript
聊一聊JavaScript作用域和作用域链
2016/05/03 Javascript
js操作DOM--添加、删除节点的简单实例
2016/07/08 Javascript
EasyUI的DataGrid每行数据添加操作按钮的实现代码
2017/08/22 Javascript
AngularJS 中的数据源的循环输出
2017/10/12 Javascript
javascript中的隐式调用
2018/02/10 Javascript
JavaScript实现一个带AI的井字棋游戏源码
2018/05/21 Javascript
微信小程序实现简单跑马灯效果
2020/05/26 Javascript
微信小程序的mpvue框架快速上手指南
2019/05/15 Javascript
如何在postman测试用例中实现断言过程解析
2020/07/09 Javascript
JavaScript实现网页计算器功能
2020/10/29 Javascript
[01:01:36]Optic vs paiN 2018国际邀请赛小组赛BO2 第一场 8.19
2018/08/21 DOTA
Python3实现将文件归档到zip文件及从zip文件中读取数据的方法
2015/05/22 Python
python生成式的send()方法(详解)
2017/05/08 Python
python+selenium识别验证码并登录的示例代码
2017/12/21 Python
Python实现定时自动关闭的tkinter窗口方法
2019/02/16 Python
使用keras2.0 将Merge层改为函数式
2020/05/23 Python
医学生个人求职信范文
2013/09/24 职场文书
测绘工程个人的自我评价
2013/11/23 职场文书
施工资料员的岗位职责
2013/12/22 职场文书
优秀高中生事迹材料
2014/02/11 职场文书
股东授权委托书范文
2014/09/13 职场文书
党员学习群众路线心得体会
2014/11/04 职场文书
保研专家推荐信范文
2015/03/25 职场文书
一篇合格的广告文案,其主要目的是什么?
2019/07/12 职场文书
Django分页器的用法你都了解吗
2021/05/26 Python