php实现自动获取生成文章主题关键词功能的深入分析


Posted in PHP onJune 03, 2013

以前写程序一直在逃避这个问题,tag什么的都是要求使用程序的人自行输入,对于某些懒人及为了程序的体验,则是希望可以有自动生成文章关键词,自动获取文章tag的类似功能,这次为了迎接新的项目,所以捣鼓了一晚上,研究了一下这个功能。
要实现自动获取关键词的功能,大概可以分成三步
1,通过分词算法将标题和内容分别进行分割,提取出关键词和频度。
当前主要的两个算法是中科院的ICTCLAS和隐马尔可夫模型。但这两个都太高端,有一定的门槛,且都是只支持C++/JAVA。基于PHP的当前有两个是值得推荐的PSCWS和HTTPCWS。 SCWS于2008-03-08发布1.0.0 正式版,到现在最新版本已经到了1.0.4。PSCWS是它的PHP版。而HTTPCWS是张宴开发的,之前叫PHPCWS。PHPCWS 先使用“ICTCLAS 3.0 共享版中文分词算法”的API进行初次分词处理,再使用自行编写的“逆向最大匹配算法”对分词和进行词语合并处理,并增加标点符号过滤功能,得出分词结果。不过很遗憾目前仅支持Linux系统,尚未移植到win平台上。
2,将提取结果与现有词库进行比较,处理,去除无用的词得到最符合规则的关键词。这里主要就是要看词库了,我们可以自己定义词库,也可以使用现有的成熟词库。比如新浪和网易博客都有这个功能,。他们分词应该有不错的词库,因为他们都是大网站,而我呢,区区一个小程序员,不可能搞到什么权威的词库,所以只能从现有的开源程序上入手,看看他们的词库。
3,在处理后的提取结果中选择适当的作为最终的关键词,得到最符合当前内容的关键词,在这个阶段就是具体情况具体分析了,无论如何也不可能达到人的那种智能化。最多是。当前PHP类CMS都自有自己的提取关键词系统。
目前在网络上流传最广的是DEDECMS的分词源码,我做了测试,发现相当的呆,效果很不好。它先设置一个关键词长度,确定获取关键词的数量,然后取词,它认为标题分好的词就是所需关键词,在加上从正文中读取关键词只到达到这个所设置的长度,就是最终关键词了。另外类似“我们”等无意义的词也没有去除掉提取并被列为关键词的频率太高,甚至有时候还会把空格的HTML提出来做为关键词,亟待改进。不过如果作为辅助功能,它已经很好了。而discuz的稍微好一些,但是discuz并没有提供源码,只是提供了一个在线api。
而dede的分词也有好几个版本,最好的应该是最新版的吧,出现频率什么都有了,下面就以dede5.7的分词和discuz的api的结果对比下
测试例子:
$title="THINKPHP官方即将停止对2.0版本的支持";
$body="了更好地做好ThinkPHP框架的开发、维护和支持工作,官方宣布从2012年5月1日起s对2.0及之前版本的维护和支持,为了节能低碳考虑,同时也取消官网的相应版本和文档下载。
就此缅怀那些年,曾经一起开发的ThinkPHP版本吧!
关于ThinkPHP 2.0版本
ThinkPHP诞生于2006年,致力于WEB应用的快速开发,其2.0版本发布于2009年10月1日 ,在之前的1.*版本上完成新的重构和飞跃,当时是一次划时代的版本,为新版奠定了基础,同时也积累了较多的用户群和网站,随着框架的快速更新,和新版2.1、2.2和3.0版本的陆续发布,预示着ThinkPHP的3.0时代到来了,2.0的生命周期宣告结束。但基本上2.0的很多功能都延续或者完善到2.1版本中了,从2.0版本升级到2.1和2.2版本也相对轻松。2.2版本是2.*版本的最终版本,不再更新功能,仅做BUG修复。";
一、dede分词
将结果排序后如下
    ?祟}Array    (
    [THINKPHP] => 1
    [官方] => 1
    [即将] => 1
    [停止] => 1
    [对] => 1
    [2.0] => 1
    [版本] => 1
    [的] => 1
    [支持] => 1
    )
    内容Array    (
    [版本] => 12
    [的] => 12
    [和] => 8
    [ThinkPHP] => 5
    [2.0] => 5
    [也] => 3
    [2.2] => 3
    [2.1] => 3
    [开发] => 3
    [3.0] => 2
    [是] => 2
    [快速] => 2
    [到] => 2
    [发布] => 2
    [维护] => 2
    [之前] => 2
    [了] => 2
    [新版] => 2
    [支持] => 2
    [框架] => 2
    [同时] => 2
    [从] => 2
对此如何取出最终的需要的关键词呢? 初步思路是先去除“的”,“些”这些词,再按照内容的排序顺序,依次看分到是否出现在标题中出现即为所需的,这样可以取出一定量的词最为最终关键词。如上结果我们可以得到
版本 thinkphp 2.0 支持 停止
五个关键词。看起来结果还是可以接受的。
二、在来看discuz的,利用api得到的是一个xml文档,解析后得到的关键词是
的、快速、版本升级、开发、用户
五个词,第一个是“的”......
对比这两种方式发现第一种dede+后续处理的较为接近文档的内容,应该是稍好一些,而discuz的偏离了文章的主题,但是其取到词有一定的热门性

PHP 相关文章推荐
给php新手谈谈我的学习心得
Feb 25 PHP
php 字符串函数收集
Mar 29 PHP
php下清空字符串中的HTML标签的代码
Sep 06 PHP
PHP设计模式之责任链模式的深入解析
Jun 13 PHP
PHP程序员基本要求和必备技能
May 09 PHP
ThinkPHP3.1新特性之对分组支持的改进与完善概述
Jun 19 PHP
php实现的递归提成方案实例
Nov 14 PHP
php投票系统之增加与删除投票(管理员篇)
Jul 01 PHP
php 使用redis锁限制并发访问类示例
Nov 02 PHP
tp框架(thinkPHP)实现三次登陆密码错误之后锁定账号功能示例
May 24 PHP
从ThinkPHP3.2.3过渡到ThinkPHP5.0学习笔记图文详解
Apr 03 PHP
PHP 文件写入和读取操作实例详解【必看篇】
Nov 04 PHP
基于MySQL到MongoDB简易对照表的详解
Jun 03 #PHP
PHP Error与Logging函数的深入理解
Jun 03 #PHP
作为PHP程序员应该了解MongoDB的五件事
Jun 03 #PHP
基于Discuz security.inc.php代码的深入分析
Jun 03 #PHP
基于HBase Thrift接口的一些使用问题及相关注意事项的详解
Jun 03 #PHP
基于php在各种web服务器的运行模式详解
Jun 03 #PHP
PHP运行模式的深入理解
Jun 03 #PHP
You might like
咖啡店都有些什么常规豆子呢?有什么风味在里面
2021/03/04 咖啡文化
Search Engine Friendly的URL设计
2006/10/09 PHP
浅析Yii中使用RBAC的完全指南(用户角色权限控制)
2013/06/20 PHP
php中mysql连接和基本操作代码(快速测试使用,简单方便)
2014/04/25 PHP
一段好玩的JavaScript代码
2006/12/01 Javascript
JS中表单的使用小结
2014/01/11 Javascript
Javascript学习笔记之相等符号与严格相等符号
2014/11/23 Javascript
js实现照片墙功能实例
2015/02/05 Javascript
JavaScript替换当前页面的方法
2015/04/03 Javascript
jquery中$each()方法的使用指南
2015/04/30 Javascript
jquery实现定时自动轮播特效
2015/12/10 Javascript
原生js编写焦点图效果
2016/12/08 Javascript
Angular js 实现添加用户、修改密码、敏感字、下拉菜单的综合操作方法
2017/10/24 Javascript
基于react后端渲染模板引擎noox发布使用
2018/01/11 Javascript
nodejs分离html文件里面的js和css的方法
2019/04/09 NodeJs
Vue学习笔记之计算属性与侦听器用法
2019/12/07 Javascript
vue3.0实现点击切换验证码(组件)及校验
2020/11/18 Vue.js
python并发2之使用asyncio处理并发
2017/12/21 Python
python爬取淘宝商品详情页数据
2018/02/23 Python
Python3中bytes类型转换为str类型
2018/09/27 Python
python3+opencv3识别图片中的物体并截取的方法
2018/12/05 Python
简单了解python的一些位运算技巧
2019/07/13 Python
Django中ajax发送post请求 报403错误CSRF验证失败解决方案
2019/08/13 Python
Pyinstaller加密打包应用的示例代码
2020/06/11 Python
举例讲解Python装饰器
2020/12/24 Python
实例教程 纯CSS3打造非常炫的加载动画效果
2014/11/05 HTML / CSS
华为消费者德国官方网站:HUAWEI德国
2020/11/03 全球购物
员工年终演讲稿
2014/01/03 职场文书
大学生涯自我鉴定
2014/01/16 职场文书
运动会通讯稿100字
2014/01/31 职场文书
如何写一份好的英文求职信
2014/03/19 职场文书
自愿离婚协议书范文2014
2014/10/12 职场文书
2014年内部审计工作总结
2014/12/09 职场文书
社会主义核心价值观主题教育活动总结
2015/05/07 职场文书
党性教育心得体会(共6篇)
2016/01/21 职场文书
在K8s上部署Redis集群的方法步骤
2021/04/27 Redis