Python编程使用NLTK进行自然语言处理详解


Posted in Python onNovember 16, 2017

自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。自然语言工具箱(NLTK,NaturalLanguageToolkit)是一个基于Python语言的类库,它也是当前最为流行的自然语言编程与开发工具。在进行自然语言处理研究和应用时,恰当利用NLTK中提供的函数可以大幅度地提高效率。本文就将通过一些实例来向读者介绍NLTK的使用。

NLTK

NaturalLanguageToolkit,自然语言处理工具包,在NLP领域中,最常使用的一个Python库。

NLTK是一个开源的项目,包含:Python模块,数据集和教程,用于NLP的研究和开发  。
NLTK由Steven Bird和Edward Loper在宾夕法尼亚大学计算机和信息科学系开发。
NLTK包括图形演示和示例数据。其提供的教程解释了工具包支持的语言处理任务背后的基本概念。

开发环境:我所使用的Python版本是最新的3.5.1,NLTK版本是3.2。Python的安装不在本文的讨论范围内,我们略去不表。你可以从NLTK的官网上http://www.nltk.org/获得最新版本的NLTK。Anyway,使用pip指令来完成NLTK包的下载和安装无疑是最简便的方法。

当然,当你完成这一步时,其实还不够。因为NLTK是由许多许多的包来构成的,此时运行Python,并输入下面的指令(当然,第一条指令还是要导入NLTK包)

>>> import nltk 
>>> nltk.download()

然后,Python Launcher会弹出下面这个界面,建议你选择安装所有的Packages,以免去日后一而再、再而三的进行安装,也为你的后续开发提供一个稳定的环境。某些包的Status显示“out of date”,你可以不必理会,它基本不影响你的使用与开发。

Python编程使用NLTK进行自然语言处理详解

既然你已经安装成功,我们来小试牛刀一下。当然本文涉及的主要任务都是自然语言处理中最常用,最基础的pre-processing过程,结合机器学习的高级应用我们会在后续文章中再进行介绍。

1、SentencesSegment(分句)

也就是说我们手头有一段文本,我们希望把它分成一个一个的句子。此时可以使用NLTK中的punktsentencesegmenter。来看示例代码

>>> sent_tokenizer = nltk.data.load('tokenizers/punkt/english.pickle') 
>>> paragraph = "The first time I heard that song was in Hawaii on radio.  
... I was just a kid, and loved it very much! What a fantastic song!" 
>>> sentences = sent_tokenizer.tokenize(paragraph) 
>>> sentences 
['The first time I heard that song was in Hawaii on radio.',  
 'I was just a kid, and loved it very much!',  
 'What a fantastic song!']

由此,我们便把一段话成功分句了。

2、SentencesSegment(分词)

接下来我们要把每个句话再切割成逐个单词。最简单的方法是使用NLTK包中的WordPuncttokenizer。来看示例代码

>>> from nltk.tokenize import WordPunctTokenizer 
>>> sentence = "Are you old enough to remember Michael Jackson attending  
... the Grammys with Brooke Shields and Webster sat on his lap during the show?" 
>>> words = WordPunctTokenizer().tokenize(sentence) 
>>> words 
['Are', 'you', 'old', 'enough', 'to', 'remember', 'Michael', 'Jackson', 'attending', 
 'the', 'Grammys', 'with', 'Brooke', 'Shields', 'and', 'Webster', 'sat', 'on', 'his', 
 'lap', 'during', 'the', 'show', '?']

我们的分词任务仍然完成的很好。除了WordPunct tokenizer之外,NLTK中还提供有另外三个分词方法,
TreebankWordTokenizer,PunktWordTokenizer和WhitespaceTokenizer,而且他们的用法与WordPunct tokenizer也类似。然而,显然我们并不满足于此。对于比较复杂的词型,WordPunct tokenizer往往并不胜任。此时我们需要借助正则表达式的强大能力来完成分词任务,此时我所使用的函数是regexp_tokenize()。来看下面这段话

>>> text = 'That U.S.A. poster-print costs $12.40...'

目前市面上可以参考的在Python下进行自然语言处理的书籍是由Steven Bird、Ewan Klein、Edward Loper编写的Python 自然语言处理。但是该书的编写时间距今已有近十年的时间,由于软件包更新等语言,在新环境下进行开发时,书中的某些代码并不能很正常的运行。最后,我们举一个书中代码out of date的例子(对上面这就话进行分词),并给出相应的解决办法。首先来看书中的一段节录

>>> text = 'That U.S.A. poster-print costs $12.40...' 
>>> pattern = r'''''(?x)  # set flag to allow verbose regexps 
...   ([A-Z]\.)+    # abbreviations, e.g. U.S.A. 
...  | \w+(-\w+)*    # words with optional internal hyphens 
...  | \$?\d+(\.\d+)?%? # currency and percentages, e.g. $12.40, 82% 
...  | \.\.\.      # ellipsis 
...  | [][.,;"'?():-_`] # these are separate tokens; includes ], [ 
... ''' 
>>> nltk.regexp_tokenize(text, pattern)

我们预期得到输出应该是这样的

['That', 'U.S.A.', 'poster-print', 'costs', '$12.40', '...']

但是我们实际得到的输出却是这样的(注意我们所使用的NLTK版本)

[('', '', ''), 
 ('A.', '', ''), 
 ('', '-print', ''), 
 ('', '', ''), 
 ('', '', '.40'), 
 ('', '', '')]

会出现这样的问题是由于nltk.internals.compile_regexp_to_noncapturing()在V3.1版本的NLTK中已经被抛弃(尽管在更早的版本中它仍然可以运行),为此我们把之前定义的pattern稍作修改

pattern = r"""(?x)          # set flag to allow verbose regexps 
       (?:[A-Z]\.)+      # abbreviations, e.g. U.S.A. 
       |\d+(?:\.\d+)?%?    # numbers, incl. currency and percentages 
       |\w+(?:[-']\w+)*    # words w/ optional internal hyphens/apostrophe 
       |\.\.\.        # ellipsis 
       |(?:[.,;"'?():-_`])  # special characters with meanings 
      """

再次执行前面的语句,便会得到

>>> nltk.regexp_tokenize(text, pattern) 
['That', 'U.S.A.', 'poster-print', 'costs', '12.40', '...']

以上便是我们对NLTK这个自然语言处理工具包的初步探索,日后主页君将结合机器学习中的方法再来探讨一些更为深入的应用。最后,我想说Python 自然语言处理仍然是当前非常值得推荐的一本讲述利用NLTK和Python进行自然语言处理技术的非常值得推荐的书籍。

总结

以上就是本文关于Python编程使用NLTK进行自然语言处理详解的全部内容,希望对大家有所帮助。感兴趣的朋友可以继续参阅本站:

如有不足之处,欢迎留言指出。

Python 相关文章推荐
python实现rest请求api示例
Apr 22 Python
Django集成百度富文本编辑器uEditor攻略
Jul 04 Python
在Django的模型和公用函数中使用惰性翻译对象
Jul 27 Python
pip安装py_zipkin时提示的SSL问题对应
Dec 29 Python
详解python:time模块用法
Mar 25 Python
Python Process多进程实现过程
Oct 22 Python
Python调用graphviz绘制结构化图形网络示例
Nov 22 Python
pip install 使用国内镜像的方法示例
Apr 03 Python
django queryset相加和筛选教程
May 18 Python
python如何进行矩阵运算
Jun 05 Python
python rolling regression. 使用 Python 实现滚动回归操作
Jun 08 Python
keras 指定程序在某块卡上训练实例
Jun 22 Python
高质量Python代码编写的5个优化技巧
Nov 16 #Python
python使用fork实现守护进程的方法
Nov 16 #Python
详解Python map函数及Python map()函数的用法
Nov 16 #Python
python中lambda()的用法
Nov 16 #Python
Python reduce()函数的用法小结
Nov 15 #Python
python简单实例训练(21~30)
Nov 15 #Python
python下10个简单实例代码
Nov 15 #Python
You might like
收集的php编写大型网站问题集
2007/03/06 PHP
thinkPHP中create方法与令牌验证实例浅析
2015/12/08 PHP
jQuery EasyUI NumberBox(数字框)的用法
2010/07/08 Javascript
一个不错的js html页面倒计时可精确到秒
2014/10/22 Javascript
JavaScript中的replace()方法使用详解
2015/06/06 Javascript
详解JavaScript中setSeconds()方法的使用
2015/06/11 Javascript
JS实现的网页背景闪电闪烁效果代码
2015/10/17 Javascript
js编写当天简单日历效果【实现代码】
2016/05/03 Javascript
Jquery修改image的src属性,图片不加载问题的解决方法
2016/05/17 Javascript
js基础之DOM中元素对象的属性方法详解
2016/10/28 Javascript
微信小程序 页面跳转事件绑定的实例详解
2017/09/20 Javascript
Vue组件中prop属性使用说明实例代码详解
2018/05/31 Javascript
vue自定义移动端touch事件之点击、滑动、长按事件
2018/07/10 Javascript
详解微信小程序实现WebSocket心跳重连
2018/07/31 Javascript
详解Vue CLI3配置解析之css.extract
2018/09/14 Javascript
vue.js实现会动的简历(包含底部导航功能,编辑功能)
2019/04/08 Javascript
微信小程序template模版的使用方法
2019/04/13 Javascript
详解element-ui表格中勾选checkbox,高亮当前行
2019/09/02 Javascript
JS数组方法concat()用法实例分析
2020/01/18 Javascript
Vue基本指令实例图文讲解
2021/02/25 Vue.js
[52:20]VP vs VG Supermajor小组赛 B组胜者组决赛 BO3 第一场 6.2
2018/06/03 DOTA
python基于urllib实现按照百度音乐分类下载mp3的方法
2015/05/25 Python
如何实现删除numpy.array中的行或列
2018/05/08 Python
Selenium定时刷新网页的实现代码
2018/10/31 Python
python给微信好友定时推送消息的示例
2019/02/20 Python
用python实现刷点击率的示例代码
2019/02/21 Python
在PyCharm的 Terminal(终端)切换Python版本的方法
2019/08/02 Python
python numpy中cumsum的用法详解
2019/10/17 Python
python对文件的操作方法汇总
2020/02/28 Python
基于python实现模拟数据结构模型
2020/06/12 Python
Python selenium爬取微信公众号文章代码详解
2020/08/12 Python
Selenium Webdriver元素定位的八种常用方式(小结)
2021/01/13 Python
如何用Python提取10000份log中的产品信息
2021/01/14 Python
法国奢华女性时尚配饰网上商店:Monnier Frères
2016/08/27 全球购物
志愿者宣传口号
2014/06/17 职场文书
Nginx设置HTTPS的方法步骤 443证书配置方法
2022/03/21 Servers