php实现自动获取生成文章主题关键词功能的深入分析


Posted in PHP onJune 03, 2013

以前写程序一直在逃避这个问题,tag什么的都是要求使用程序的人自行输入,对于某些懒人及为了程序的体验,则是希望可以有自动生成文章关键词,自动获取文章tag的类似功能,这次为了迎接新的项目,所以捣鼓了一晚上,研究了一下这个功能。
要实现自动获取关键词的功能,大概可以分成三步
1,通过分词算法将标题和内容分别进行分割,提取出关键词和频度。
当前主要的两个算法是中科院的ICTCLAS和隐马尔可夫模型。但这两个都太高端,有一定的门槛,且都是只支持C++/JAVA。基于PHP的当前有两个是值得推荐的PSCWS和HTTPCWS。 SCWS于2008-03-08发布1.0.0 正式版,到现在最新版本已经到了1.0.4。PSCWS是它的PHP版。而HTTPCWS是张宴开发的,之前叫PHPCWS。PHPCWS 先使用“ICTCLAS 3.0 共享版中文分词算法”的API进行初次分词处理,再使用自行编写的“逆向最大匹配算法”对分词和进行词语合并处理,并增加标点符号过滤功能,得出分词结果。不过很遗憾目前仅支持Linux系统,尚未移植到win平台上。
2,将提取结果与现有词库进行比较,处理,去除无用的词得到最符合规则的关键词。这里主要就是要看词库了,我们可以自己定义词库,也可以使用现有的成熟词库。比如新浪和网易博客都有这个功能,。他们分词应该有不错的词库,因为他们都是大网站,而我呢,区区一个小程序员,不可能搞到什么权威的词库,所以只能从现有的开源程序上入手,看看他们的词库。
3,在处理后的提取结果中选择适当的作为最终的关键词,得到最符合当前内容的关键词,在这个阶段就是具体情况具体分析了,无论如何也不可能达到人的那种智能化。最多是。当前PHP类CMS都自有自己的提取关键词系统。
目前在网络上流传最广的是DEDECMS的分词源码,我做了测试,发现相当的呆,效果很不好。它先设置一个关键词长度,确定获取关键词的数量,然后取词,它认为标题分好的词就是所需关键词,在加上从正文中读取关键词只到达到这个所设置的长度,就是最终关键词了。另外类似“我们”等无意义的词也没有去除掉提取并被列为关键词的频率太高,甚至有时候还会把空格的HTML提出来做为关键词,亟待改进。不过如果作为辅助功能,它已经很好了。而discuz的稍微好一些,但是discuz并没有提供源码,只是提供了一个在线api。
而dede的分词也有好几个版本,最好的应该是最新版的吧,出现频率什么都有了,下面就以dede5.7的分词和discuz的api的结果对比下
测试例子:
$title="THINKPHP官方即将停止对2.0版本的支持";
$body="了更好地做好ThinkPHP框架的开发、维护和支持工作,官方宣布从2012年5月1日起s对2.0及之前版本的维护和支持,为了节能低碳考虑,同时也取消官网的相应版本和文档下载。
就此缅怀那些年,曾经一起开发的ThinkPHP版本吧!
关于ThinkPHP 2.0版本
ThinkPHP诞生于2006年,致力于WEB应用的快速开发,其2.0版本发布于2009年10月1日 ,在之前的1.*版本上完成新的重构和飞跃,当时是一次划时代的版本,为新版奠定了基础,同时也积累了较多的用户群和网站,随着框架的快速更新,和新版2.1、2.2和3.0版本的陆续发布,预示着ThinkPHP的3.0时代到来了,2.0的生命周期宣告结束。但基本上2.0的很多功能都延续或者完善到2.1版本中了,从2.0版本升级到2.1和2.2版本也相对轻松。2.2版本是2.*版本的最终版本,不再更新功能,仅做BUG修复。";
一、dede分词
将结果排序后如下
    ?祟}Array    (
    [THINKPHP] => 1
    [官方] => 1
    [即将] => 1
    [停止] => 1
    [对] => 1
    [2.0] => 1
    [版本] => 1
    [的] => 1
    [支持] => 1
    )
    内容Array    (
    [版本] => 12
    [的] => 12
    [和] => 8
    [ThinkPHP] => 5
    [2.0] => 5
    [也] => 3
    [2.2] => 3
    [2.1] => 3
    [开发] => 3
    [3.0] => 2
    [是] => 2
    [快速] => 2
    [到] => 2
    [发布] => 2
    [维护] => 2
    [之前] => 2
    [了] => 2
    [新版] => 2
    [支持] => 2
    [框架] => 2
    [同时] => 2
    [从] => 2
对此如何取出最终的需要的关键词呢? 初步思路是先去除“的”,“些”这些词,再按照内容的排序顺序,依次看分到是否出现在标题中出现即为所需的,这样可以取出一定量的词最为最终关键词。如上结果我们可以得到
版本 thinkphp 2.0 支持 停止
五个关键词。看起来结果还是可以接受的。
二、在来看discuz的,利用api得到的是一个xml文档,解析后得到的关键词是
的、快速、版本升级、开发、用户
五个词,第一个是“的”......
对比这两种方式发现第一种dede+后续处理的较为接近文档的内容,应该是稍好一些,而discuz的偏离了文章的主题,但是其取到词有一定的热门性

PHP 相关文章推荐
PHP实现多条件查询实例代码
Jul 17 PHP
php 计划任务 检测用户连接状态
Mar 29 PHP
php中in_array函数用法探究
Nov 25 PHP
详解WordPress中添加和执行动作的函数使用方法
Dec 29 PHP
详解WordPress中添加友情链接的方法
May 21 PHP
常用PHP数组排序函数归纳
Aug 08 PHP
php中二分法查找算法实例分析
Sep 22 PHP
yii2-GridView在开发中常用的功能及技巧总结
Jan 07 PHP
PHP钩子与简单分发方式实例分析
Sep 04 PHP
使用YII2框架实现微信公众号中表单提交功能
Sep 04 PHP
PHP+redis实现的悲观锁机制示例
Jun 12 PHP
php探针使用原理和技巧讲解
Sep 17 PHP
基于MySQL到MongoDB简易对照表的详解
Jun 03 #PHP
PHP Error与Logging函数的深入理解
Jun 03 #PHP
作为PHP程序员应该了解MongoDB的五件事
Jun 03 #PHP
基于Discuz security.inc.php代码的深入分析
Jun 03 #PHP
基于HBase Thrift接口的一些使用问题及相关注意事项的详解
Jun 03 #PHP
基于php在各种web服务器的运行模式详解
Jun 03 #PHP
PHP运行模式的深入理解
Jun 03 #PHP
You might like
PHPUnit测试私有属性和方法功能示例
2018/06/12 PHP
点击隐藏页面左栏或右栏实现js代码
2013/04/01 Javascript
Jquery uploadify图片上传插件无法上传的解决方法
2013/12/16 Javascript
jQuery中contents()方法用法实例
2015/01/08 Javascript
jQuery中extend函数详解
2015/07/13 Javascript
详解JS几种变量交换方式以及性能分析对比
2016/11/25 Javascript
js判断是否是手机页面
2017/03/17 Javascript
JS原生轮播图的简单实现(推荐)
2017/07/22 Javascript
vue router下的html5 history在iis服务器上的设置方法
2017/10/18 Javascript
javascript闭包的使用之按钮切换功能
2018/08/30 Javascript
JavaScript封装的常用工具类库bee.js用法详解【经典类库】
2018/09/03 Javascript
更改BootStrap popover的默认样式及popover简单用法
2018/09/13 Javascript
利用Angular2的Observables实现交互控制的方法
2018/12/27 Javascript
jQuery each和js forEach用法比较
2019/02/27 jQuery
vue和better-scroll实现列表左右联动效果详解
2019/04/29 Javascript
[44:50]2018DOTA2亚洲邀请赛 4.1 小组赛 A组 TNC vs VG
2018/04/02 DOTA
[50:27]OG vs LGD 2018国际邀请赛淘汰赛BO3 第一场 8.26
2018/08/30 DOTA
[59:15]完美世界DOTA2联赛PWL S2 LBZS vs FTD.C 第一场 11.20
2020/11/20 DOTA
全面了解Python环境配置及项目建立
2016/06/30 Python
解决Python 遍历字典时删除元素报异常的问题
2016/09/11 Python
python 实现一次性在文件中写入多行的方法
2019/01/28 Python
浅谈keras中Dropout在预测过程中是否仍要起作用
2020/07/09 Python
python redis存入字典序列化存储教程
2020/07/16 Python
美国咖啡批发网站:Coffee.org
2017/06/29 全球购物
MAC Cosmetics巴西官方网站:M·A·C彩妆
2019/04/18 全球购物
大专毕业生自我鉴定
2013/11/21 职场文书
小区门卫管理制度
2014/01/29 职场文书
元旦联欢会感言
2014/03/04 职场文书
安全生产目标管理责任书
2014/07/25 职场文书
社会工作专业自荐信
2014/09/26 职场文书
八一建军节慰问信
2015/02/14 职场文书
房屋转让协议书(标准范本)
2016/03/21 职场文书
2016年社区创先争优活动总结
2016/04/05 职场文书
读完《骆驼祥子》的观后感!
2019/07/05 职场文书
导游词之南迦巴瓦峰
2019/11/19 职场文书
浅谈mysql哪些情况会导致索引失效
2021/11/20 MySQL